基于Map/Reduce的决策树分类挖掘方法应用研究

• 作 者: 李根 樊龙 万定生 余宇峰
• 机 构: 河海大学计算机与信息学院,支付宝（中国）网络技术有限公司
• 出 处: 计算机与数字工程
• 发表日期: 2016年8期
• 关键词: Map/Reduce技术 K-means算法 决策树 C4.5BH算法
• 基金项目: 国家科技支撑计划课题(编号:2015BAB07B01);水利部公益性行业科研专项(编号:201501022)资助

传统数据挖掘模式在处理海量、多维、复杂等特征的数据时,存在计算能力弱、效率低、可扩展性差等问题。论文提出基于Map/Reduce的决策树分类挖掘方法（C4.5BH算法）,该算法采用K-means聚类方法对连续属性进行离散化,并利用Map/Reduce编程模型和属性表结构实现了决策树构造过程中属性的并行计算和节点的并行分裂。实验证明,与传统的C4.5算法相比,C4.5BH算法在处理大规模数据集时具有更高的执行效率和良好的加速比。