大数据分类挖掘算法及其概念漂移应用研究

• 作 者: 陆莉莉 张永潘 谈海宇 季一木
• 机 构: 南京信息职业技术学院计算机与软件学院,南京邮电大学计算机学院
• 出 处: 计算机科学与探索
• 发表日期: 2016年12期
• 关键词: 大数据 数据挖掘 分类算法 概念漂移 big data data mining classification algorithm concept drif
• 基金项目: The Youth Fund of Natural Science Foundation of Jiangsu Province under Grant No. BK20130876 (江苏省自然科学基金青年基金), theResearch Foundation of Nanjing College of Information Technology under Grant No. YK20140

随着大数据应用研究的不断深入和分布式机器学习中流计算框架的涌现，针对数据流中概念漂移问题的研究是面向大数据挖掘领域的研究热点之一。现有的针对概念漂移的研究成果主要还是依赖于数据结构和算法优化，通过计算资源有限的独立计算机完成概念漂移的检测。为此，提出一种面向大数据的基于Storm的抵抗概念漂移的分类挖掘算法S-CVFDT（Storm-conceptveryfastdecisiontree）及系统。该系统采用并行化窗口和S-CVFDT算法，利用并行化窗口机制检测数据流中的突变型概念漂移，从而自适应地改变并行