基于在线迁移学习和深度学习的流量识别与Botnet检测

• 作 者: 苗长胜
• 机 构: 东北大学
• 出 处: 东北大学
• 发表日期: 2019年01期
• 关键词: 流量识别 Botnet流量检测 在线迁移学习 多字符串匹配 特征选择 卷积神经网络 LSTM神经网络

网络流量分类是指将因特网中混合有各种应用的流量,按产生这些流量的应用协议进行分类。当进行二类分类时往往又可称为网络协议检测或网络流量识别。网络流量分类技术一直是学术界和产业界共同关注的热点之一,在网络监控与管理、流量计费、用户行为分析等方面有重要的应用。对学术界来说,网络流量分类是高性能网络协议设计的基础;对运营商来说,网络流量分类是网络运营管理、网络发展规划、网络流量调度和高效能业务前瞻的依据,网络服务提供商使用其分析网络流量分布以辅助QOS（Quality of Service）管理,企业借助流量识别技术控制应用访问,;对网络安全来说,网络流量分类是网络攻击与恶意代码检测和流量清洗的重要手段,入侵防御系统及防火墙使用该技术识别恶意流量,及时阻断恶意连接;对网络合法监听来说,网络流量分类是有效执法的保证,相关机构通过识别用户移动设备流量推测用户信息与行为等。鉴于以上各种需求,实现准确高效的流量识别具有极其重要的意义。本文的研究目标为面向网络业务的流量分类与僵尸网络流量检测。主要研究内容包括基于在线迁移学习的网络业务流量识别算法和基于深度学习的网络异常流量检测。提出了一种新的精确多字符串匹配算法q2-BNDM,用以对数据集进行快速标注。该算法采取将多个模式串并联的策略,是一种基于过滤的匹配算法。结合了 BNDM算法的比特并行性和q-gram算法及模式串并联策略带来的过滤效率的提升,使得算法优势明显。通过实验,并与其他算法例如DFA、AC-BM和MWM进行比较,q2-BNDM算法的预处理阶段时间短,对于几千个模式的巨大集合,该算法速度是MWM的近10倍,算法的内存使用量仅为64K,使得算法具有良好的cache局部性,尤其适合于多任务的情形。特征选择对于网络流量的识别效率和精度有重要意义。本文利用文化基因框架的引导,提出一种结合了封装和过滤的混合型特征选择算法。该算法在传统的基因算法中采用了基于互信息的局部搜索算法,全局搜索以分类器精度为适应度函数,保证得到全局最优解;局部搜索以联合互信息为评价指标,加快了寻找最优特征子集的收敛速度。实验表明,与现有算法相比,该算法在特征数量和计算复杂度上有显著改进,采用该算法的网络流量识别方法能以大致相当的特征数量获得较高的分类精度。应用基于流量统计特征的机器学习方法来实现网络流量的分类,往往需要大量的训练数据才能训练出一个足够好的分类器,而且无法解决训练集和测试集时空不一致的问题,也无法应对概念漂移的现象。本文研究了基于多个源域同构空间下的在线迁移学习问题。在多源同构空间下,提出了基于缩小源域和目标域距离的在线迁移学习算法McMs-HomOTL。借助目标域的无标签数据,采用BDA算法将源域和目标域映射到新的空间,从而缩小源域和目标域的距离。之后,采用集成的方式将源域和目标域上的分类器组合起来,并且将分类模型扩展为多分类模型。受到AdaBoost算法思想的启发,即通过多个弱分类的组合来构成一个强的分类模型,本文在单个源域上训练出n个分类器,并为每个分类器分配一个动态权重,可以有效提升McMs-HomOTL算法的准确性。实验结果表明,在满足网络可扩展性和稳定性要求的同时,流量分类性能可以得到显著提高。机器学习技术在僵尸网络检测领域具有广泛应用,但随着僵尸网络形态和命令控制机制逐渐变化,人工特征选取变得越来越困难。加之僵尸网络流量与背景流量的不平衡性,导致传统机器学习方法检测精度不高。为此,提出基于深度学习的僵尸网络检测架构,从内容、时间和空间这3个维度自动化提取网络流量特征,通过结合多种深层神经网络结构建立分类器。该算法不依赖于任何有关协议和网络拓扑的先验知识,不需要人工干预选取特征。实验结果表明,该模型准确性较高,能够对僵尸网络流量进行有效识别。