论文部分内容阅读
在网络快速发展的今天,人们的日常生活越来越离不开互联网。随着互联网的迅猛发展与各种网络应用的普及,我国的互联网用户数大大增加。据CNNIC测算,截至2013年8月底,中国网民数量达到5.99亿,互联网普及率为44.7%。网络给人们带来了很多便利,但也同样出现了各种网络攻击行为,其规模和破坏力也大幅增长。在各种各样的网络攻击中,破坏力最大的是当属DDoS(Distributed Denial of Service,分布式拒绝服务)攻击。在2013年的3月26号,世界著名的反垃圾邮件组织Spamhaus,宣称遭受到了流量高达300G左右的DDoS攻击。这是互联网历史上最大的一次DDoS攻击,攻击的最大流量达到300GBit/S。这次攻击不单导致了Spamhaus的服务瘫痪,同时导致了全球互联网大堵塞。由于网络流量的剧增,传统的网络攻击检测方法已无法满足海量数据实时分析的要求,需要引入更高效的处理方式。本文采用了用于海量数据分析的开源框架Hadoop来构建一个用于实时检测骨干网网络攻击的系统。本文首先介绍了Hadoop的基本概念,结构,HDFS (Hadoop Distributed File System,分布式文件系统)和MapReduce并行运算模型。随后,在Hadoop框架的基础上,本文提出了骨干网网络攻击检测系统的三层体系结构,包括了网络数据的采集,存储和网络攻击检测方法,构成了一个完备的网络攻击检测系统。然后,本文对骨干网络攻击检系统的攻击检测模块进行了重点研究,并详细介绍了攻击检测任务的并行调度,以及对各种网络攻击检测的MapReduce实现。本文构建了一个高扩展性,高稳定性的骨干网络攻击检测系统。该系统能弹性的进行扩展以应对更大的网络数据量与新型的网络攻击行为。并提出了一种基于网络流量回归模型的网络攻击的检测方法,为了提高数据分析性能,还对数据进行了采样实验。