论文部分内容阅读
近些年来,互联网的规模也在急速的增长,互联网数据的存储、分析以及检测已经成为运营商的面临的一个重大问题,到目前为止,已经有很多关于异常流量检测的研究。对于大数据的研究还是局限于Hadoop平台的批处理阶段。对于异常流量大数据的实时处理,类似Storm平台,相关的研究还是很少的。因此,这篇文章介绍了基于k-nearest neighbor(k-NN)的累积距离的异常检测方法,以及使用此检测方法的异常流量实时检测系统的实现。本文中所有的测试也都是在自主搭建的Storm实时处理平台上完成的。并且,我们的数据结果显示,这套系统能够正确的完成异常流量的实时监测的任务。本文首先介绍了网络流量的分类,包括网络流量异常,尤其是DDoS攻击的分类,以及DDoS攻击常用的攻击方式和检测方法。随后,在已有检测方法的基础上,根据海量数据的环境和现有RawFlow数据特点,本文采用基于动态k-NN累积距离的异常检测算法做为流量实时监测系统的算法。接着,本文对流量实时监测系统的设计进行了重点研究。先后详细系统的各个组件。通过对这些组件的研究,解决了海量数据环境下网络流量监测领域中的一些重要问题。最后,本文以流量实时监测系统的检测结果为例对异常流量进行了分析。