一种基于Hadoop平台的海量Web数据挖掘系统研究与实现

• 作 者: ZHUXiang[1]朱湘[2]JINSong-chang[1]金松昌[2]JIAYan[1]贾焰[2]
• 机 构: Computer School,National University of Defense Technology,Changsha 410073,China
• 出 处: 第九届中国通信学会学术年会
• 发表日期: 2012年期

　　针对目前Web数据规模的快速增长，传统的基于单机的数据挖掘模式不能胜任当前Web海量数据存储与处理。随着“云计算”技术的兴起，将传统的数据挖掘方法与“云计算”平台融合以提高数据挖掘的效率成为一种研究方向。本文将传统的遗传算法与Hadoop的MapReduce进行融合，针对Hadoop的分布式文件存储系统HDFS中的海量Web数据进行挖掘。为进一步验证该平台的高效性，在该平台上利用融合后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明，在Hadoop中运用分布式算法处理大量的Web数据，可以明显提高Web数据挖掘的效率。