基于Storm的流数据聚类挖掘算法的研究

• 作 者: 马可
• 出 处: 南京邮电大学
• 发表日期: 2016年期
• 关键词: 流数据 聚类 马氏距离 分布式 Storm

时至今日,云计算、物联网等技术正在兴起并且日益成熟,各种信息服务与技术产生的每日以TB甚至PB计的数据宣告着大数据时代已经来到,大数据具有大量、快速、多样、价值密度低等特点,如何高效地处理这类数据是我们必须面对的问题。本文基于大数据环境中的流处理模式,面向海量流数据,研究了针对流数据的聚类方法,既研究了提高聚类精度的方法,又研究了提高聚类算法计算效率的方法即流聚类算法的分布式并行化,并基于实时流计算平台Storm设计了流聚类挖掘算法的分布式并行化实现方案并进行了实现。在提高聚类精度的方面,本文对经典流聚类算法CluStream进行了改进。鉴于马氏距离考虑到了属性之间的联系,同时不受数据属性量纲的影响,用马氏距离替代欧氏距离来计算数据之间的相异度,设计了基于马氏距离的流聚类算法M-Clustering(Mahalanobis-Clustering),并在Storm仿真环境下设计了对比实验,实验结果表明,与CluStream算法相比,M-Clustering算法能够有效地提高对流数据的聚类精度。在流聚类算法的分布式并行化方面,本文针对CluStream算法的微聚类部分,设计了分布式并行化的实时流聚类算法DPRCluStream(Distribured Parallelized Real Time Clustering Algorithm for Sream Data),将数据的在线微聚类部分拆分成局部与全局两个部分分别做计算,其中局部部分由多线程并行处理。基于Storm集群的实验结果表明,DPRCluStream算法的聚类精度趋近于静态聚类算法k-means,并且随着并行化线程的增加聚类精度能够保持稳定,计算效率呈近线性提升。与当前大数据环境相适应,本文的研究内容较为先进且研究成果具有一定的理论价值与实用性。