基于分布式的网络用户行为分析系统的设计

• 作 者: 杨帆
• 发表日期: 2014年01期
• 关键词: 用户行为分析 数据挖掘 文本聚类 MapReduce

伴随着移动终端的应用,网络用户群体的规模有一次飞速的扩大,频繁的访问行为积累了海量数据,隐含着有效信息,可以为网络服务和网络安全提供指导或者为网站建设者提供结构方面的支持,所以对网络用户访问行为的分析成为了研究热点。由于网络用户个体化差异,单一用户行为往往不构成特征规律,而当考虑客户群体的时候,隐含的特征规律便显现出来。如果能准确的把握用户群体的特征规律,进而划分客户群体,互联网应用和服务提供者便可以针对不同客户群体的需要提供个性化的服务和高附加值的业务推荐,实现网络客户群和网络服务者的利益最大化。本课题设计了一个高性能的分布式网络用户行为分析系统来划分用户群体。首先,爬取网页内容,通过TFIDF分词技术提取网页关键字,并构成页面向量,同时通过WEB服务器得到用户访问的上下文信息,通过数据预处理模块,消除冗余度,形成具有唯一性且冗余度低的数据源。其次,详细研究并改进了数据挖掘技术中的聚类方法,并在Hadoop分布式处理框架MapReduce中实现了算法的并行化,使其更能适合现实中海量数据的处理,并验证了MapReduce并行化处理性能上的提升。之后,设计出分布式用户行为分析系统的框架,包括数据采集模块,数据预处理模块,文本聚类模块,知识结果集模块并实现了各个模块的主要功能,并根据现有的系统性能测试指标对该系统进行了测试和评估,最后总结了论文的特点以及不足之处,并提出了对前景的展望。