基于Spark的聚类算法探讨

• 作 者: 纪兆华 王立东 宋海英 张小华
• 机 构: 北京信息职业技术学院,共青团内蒙古兴安盟委员会,兴安职业技术学院
• 出 处: 科学技术创新
• 发表日期: 2020年19期
• 关键词: SPARK 机器学习 聚类算法
• 基金项目: 北京信息职业技术学院校级科研项目(编号:XY-YN-02-201801),内蒙古自治区高等学校科学技术研究项目人文社会科学一般项目(编号:NJSY18323),北京市教育科学“十三五”规划2018年立项课题(编号:ADJB18032),北京市教育委员会科技计划一般项目(编号:KM201910857002)

Spark提供基于内存计算的开源计算,支持全栈式解决批处理、数据查询和机器学习等业务场景。Spark生态系统在机器学习领域的重要应用MLlib,具有很多常用算法,实现了K-means等多种分布式机器学习算法。本文主要探讨Spark的功能、体系结构和Spark的特点,聚类算法和基于Spark机器学习库MLlib及其K-means算法。