并行推荐算法的研究与实现

• 作 者: 李芳林
• 发表日期: 2015年01期
• 关键词: 推荐算法 并行化 矩阵因子分解 推荐系统

近年来,随着智能手机以及互联网的快速发展,基于网络的应用服务发展越来越迅猛,给人们带来了更加丰富多元的网络生活。然而,用户同时需要面对大量网络应用服务提供的信息和产品,从而导致信息过载问题的产生。解决信息过载问题的主要途径有搜索引擎和推荐系统。传统的搜索引擎根据用户输入的关键字提供相关的信息,缺少一定的内容与用户的相关性分析。推荐系统是解决信息超载问题的另一个非常有效的途径,它是根据用户的基本信息、兴趣、历史浏览记录等,将用户有可能感兴趣的产品和信息推荐给用户的个性的推荐系统。相对搜索引擎来说,个性化推荐系统通过研究用户的兴趣偏好,进行个性化的推荐,由系统发现并推荐给用户潜在兴趣点,帮助用户找到感兴趣的信息。然而随着数据量的增长,传统的单机推荐算法将不可避免遇到性能上的瓶颈,针对大规模数据的推荐算法的并行化研究需求日益增长。本论文先简要介绍了并行计算框架Hadoop的并行化机制和应用,以及推荐系统相关的基本概念和理论基础,然后介绍了现主流的推荐算法、面临的问题和相似度量公式等问题。随后介绍了基于矩阵因子分解、基于用户和基于物品的协同过滤推荐算法的并行化研究与实现,提出了一种快速的分布式的随机梯度下降算法FDSGD用于求解矩阵因子分解问题,并对算法的性能进行了比较。同时介绍了推荐算法的一般评估准则以及评估算法的实现。最后根据实现的基于物品的推荐算法和基于矩阵因子分解的推荐算法,设计并实现了一个图书推荐系统,直观展示了算法与实际相结合的应用场景。