论文部分内容阅读
随着网络技术的发展和网络规模的日益扩大,人类对互联网的依赖程度日益增强,而网络性能和网络安全一直是困扰网络研究和管理的主要问题.网络流量监测通过网络流量测量获取网络运行参数,并在此基础上进行分析、检测,最终判断网络运行状况,是网络管理的基本手段.网络流量监测可以及时发现网络瓶颈和故障,检测并防范网络攻击,进而改善和提高网络服务质量.流量监测分析的结果也是设计网络设备和网络协议的基础. 然而系统处理能力的发展已经落后于网络传输速率的增长,而且差距还在不断加大;同时,用户的增多和服务种类的丰富,使网络链路传输的数据量也成倍增长.传统的用于低带宽网络的监测技术的处理能力、可扩展性和可生存性已经难以适应当前主干网络链路的高传输速率和海量数据.本文在详细调研网络流量监测技术的基础上,分析当前高速网络监测中存在的相关技术问题,重点研究了高速网络数据采集方法、大流量对象(Large Flow)提取算法、高速网络环境下的流量异常检测算法、网络负载预测算法以及流量监测系统的构造.本文主要研究内容包括以下几点:
(1)设计并实现了高速网络数据采集平台.网络数据采集是网络流量监测的前提,但由于计算机系统处理能力的发展落后于网络带宽的提高,面对高速网络传输,传统的网络数据采集系统已经无能为力.通过对传统捕包机制的分析,找出了影响网络数据捕获的主要影响因素,针对这些影响因素,设计了一种用户级分组传输机制.同时针对海量数据存储和分组时间戳的问题,分别采用了裸设备存储和TSC时间戳计数器获取时间戳的方案.基于这几项技术,构建了高性能的网络数据采集平台DZ-TMP.
(2)研究了高速网络大流量对象测量算法.在网络流量测量中,把数据包归并为流(Flow),不但压缩了数据量,而且可以更加清晰地表现出流量的一些特征.但随着网络带宽快速提高,单位时间内通过网络线路的flow的数量达到了几十甚至上百万,由于系统存储空间和处理速度的限制,难以在线采集完整的flow信息.对于很多应用,仅有大流量对象(large flow)的信息已经足够.本文把LRU和LEAST淘汰机制有机结合,利用二级淘汰机制在测量过程当中不断丢弃小的流量对象,只保留大流量对象的准确信息,不但节省了存储空间,使在线flow测量成为可能,而且使测量效率和准确性都有较大的提高.
(3)研究了高速网络流量异常检测方法.高速网络流量吞吐量大且复杂多变,对网络流量异常检测的准确性和及时性提出了挑战.本文设计了一种多时间尺度同步的网络流量异常检测算法,该算法选择用小波分解作为网络流量检测的基础,在不同的时间尺度上同时进行检测.首先采用无抽取Haar小波变换对流量序列以递推的方式进行小波分解.对小波分解后的细节信号的特征分析表明,消除冗余后的小波细节信号近似为高斯白噪声,利用高斯白噪声的"3σ"法则可以检测细节信号中的异常.该算法较好解决了高速网络流量异常检测中的准确性和及时性的问题.
(4)研究了网络流量预测模型.网络流量预测模型对于网络过载预警、异常检测都有重要意义.高速网络流量复杂多变,传统网络流量模型由于不能自调节参数而影响准确性.本文设计了一种递推式自适应网络流量预测模型,能够随着网络流量特征的变化自动调节参数.首先用递推式无抽取Haar小波对网络流量时间序列进行分解,然后在小波分解产生的细节信号和近似信号上分别采用了AAR模型和滑动窗口式多项式拟合.该算法解决了网络预测中参数调整的问题,而且具有较好的准确性.
(5)设计实现了分布式网络流量监测系统.互联网规模扩张迅速,数据量不断膨胀,网络流量监测系统需要很好的可扩展性和抵御恶意流量的能力.我们建立了一个分布式网络流量监测系统Net-scope.系统采用分布式数据采集,集中式分析和管理的层次模式.系统由采集器、分析器和管理器三种部件组成.该系统具有较好的可扩展性和生存能力,能够应用于不同规模的网络流量监测.