论文部分内容阅读
Spark技术是一项基于内存计算,继Hadoop技术之后在云计算领域出现的新一代通用并行计算的开源技术,在机器学习方面有着无与伦比的优势,特别适合出现多次迭代计算需求的算法,并在交互式查询、云计算、图计算等领域有着广泛的应用。由于Spark拥有非常出色的容错和调度机制,可以确保系统稳定地运行,并且它还是一个集SQL、机器学习、图计算、流处理等多种功能于一体的计算框架,具有非常好的易用性。目前,Spark技术已经构建成了一套完整的大数据处理生态系统,在流处理、图技术、机器学习、NoSQL查询等方面都具有自己的特色。此外,Spark采用全栈技术解决了云计算数据处理的核心问题,使得在现阶段,Spark技术在云计算等大数据领域中成为研究热点。论文在详细阐述国内外关于Spark研究现状的基础上,针对目前存在的难点问题,以Spark全栈框架中的各个组件及其应用为基础,对网络流量异常检测技术的应用问题展开讨论和研究,本论文的主要贡献有以下两个方面:本论文首先研究了网络流量异常检测技术在Spark平台上的应用,利用Spark平台上的MLlib算法库、Streaming K-means和随机森林算法分别作为入侵检测的第一级和第二级模型,作用于不同阶段中网络流量数据的检测。此外,根据无监督模式下K-means算法的原理,对网络流量异常检测算法进行了优化,采用Z-score算法过滤边缘信息,选择熵信息K-means模型作为第一级网络流量异常检测的模型,以第一级检测模型的数据输出作为第二级模型的输入,采用随机森林算法作为第二级分类模型。其次本论文针对以上算法进行了对比测试。首先以KDD99为实验数据集,基于熵信息判断K-means最优模型,并通过交叉检验证明了在不同的K值下模型预测准确度和熵信息成反比,K值为60时K-means模型达到最优。同时还对随机森林算法和决策树算法在不同参数组合下的预测模型进行了异常数据分类测试对比,测试结果表明,随机森林模型可以做到98%以上的异常结果分类预测,采用二级异常检测模型与传统模型相比较,可获得较高的异常数据检测精度。