基于知识蒸馏的轻量级网络流量分类研究

• 作 者: 武彦辉
• 出 处: 吉林大学
• 发表日期: 2020年01期

网络流量分类在流量管理、故障排除、网络安全等领域有着十分重要的作用。传统的网络流量分类方案准确率低,时效性差,且需要极高的运维成本。随着近些年深度学习在CV以及NLP方向的成功,研究人员尝试利用深度学习构建端到端的网络流量分类模型。这种方案准确率高、泛化性能好且不需要手工设计特征,极大地促进了网络流量分类的发展。然而当前的深度学习模型参数冗余量较多,对计算以及存储资源开销较大,并不能适应日益增长的网络流量分类需求。知识蒸馏是解决这一问题的有力工具。其通过软标签携带的类内及类间信息更好地指导模型的训练过程,从而实现模型压缩与高精度化。基于此背景,本文提出了基于异构离线蒸馏、基于渐进式自蒸馏以及基于对比学习自蒸馏的三种轻量级网络流量分类模型。为了能够更好地学习到网络流量的时序信息,本文采用了LSTM作为基本网络结构。本文的主要贡献如下:基于异构离线蒸馏的轻量级网络流量分类模型在训练好教师模型的基础上,利用教师模型产生的logits当作具有类内及类间信息的软标签,经过自适应温度函数蒸馏软化的软标签用于指导学生模型的训练过程。通过这种方式完成知识的迁移以及模型压缩。并且采用1)（8（67）＿7）克服样本不平衡以及学习难度不同的问题。实验表明自适应温度函数的超参数为10时训练效果最好,学生模型在识别速度提升72%的情况下准确率仅仅下降0.45%,在保证准确率的情况下有效地提高了模型的推理速度。基于渐进式自蒸馏的轻量级网络流量分类模型采用训练前期分类效果最好的模型当作教师模型用于指导训练后期模型的训练过程。训练前期阶段教师模型准确率较低,其知识特征并不可靠。随着准确率的提升教师模型逐渐可靠,此时则应该分配较高的权重。本文设计了自适应的权重函数,可以大幅度提高学生模型对所学知识的自信程度,加快模型收敛速度。实验表明通过这种方式训练的模型比未经蒸馏直接训练的模型学习能力更强且分类效果更佳,0)（8（67）7）提高了2.54%,1则提高了2.16%,其中P2P以及VPN-Streaming的1达到了100%。基于对比学习自蒸馏的轻量级网络流量分类模型则采用随机擦除数据的方式进行数据增强,通过对比学习原样本与新样本的差异作为软标签参与模型的训练过程。这种方式可避免模型过度依赖局部特征,迫使模型挖掘更多的特征信息,从而提高模型的泛化效果。实验结果表明,该方案可以使多数类与少数类对模型的贡献是相同的,模型可以学习到更加丰富且全面的特征信息,有效解决样本不平衡及困难特征难以学习的问题,其中0)（84）4)9)提升最为明显,提升了3.06%,而1则提高了2.30%。经过实验比较分析,基于异构离线蒸馏的轻量级网络流量分类模型分类效果最好,准确率达到了99.52%,由此可以说明参数量多的教师模型能够更好地学习到样本特征信息,而本文提出的异构离线蒸馏算法则可以将知识有效地迁移到学生模型中。