基于Hadoop及深度学习的电商个性化推荐平台的设计与实现

• 作 者: 赵正阳
• 出 处: 北京交通大学
• 发表日期: 2018年01期
• 关键词: 电商平台 推荐系统 Hadoop 长短时记忆网络 对抗生成网络

随着科技的高速发展,现在已经步入了”互联网+”时代。越来越多的电商平台走入了人们的生活当中。如何给用户带来更稳定的访问、更好的商品推荐浏览。也成为了目前电商平台急需解决的首要问题。“电能E购”电商平台是国家电力投资集团在《物资装备分公司(成套公司)”十三五”发展规划》的发展思路中明确提出的综合型能源产业电子商务系统。在平台中引进了 Hadoop大数据平台技术为平台的服务的稳定性提供了支撑、研究了协同过滤、KNN、深度学习等多种推荐算法为平台服务的友好性提供了支撑。在本项目中,分别从页面推荐位置分析、推荐模块数据表设计、不同推荐算法的执行流程设计、训练所需数据集的整理及清晰、深度学习的神经网络的建立与训练、Hadoop平台的搭建与推荐算法在Hadoop平台的应用、Hadoop平台的性能测试及可用性测试、传统推荐算法与深度学习推荐算法在不同维度的测试评估等方面进行了设计与实现。对于平台页面,分别分析了平台主页面、详情页面、搜索页面的不同栏位可以进行哪些推荐;对于基于算法的推荐设计并实现了 LSTM+GAN的深度学习神经网络;对于数据的存储、实时数据流的传递、数据的快速分析运算搭建了 Hadoop平台应用了 HDFS、Hive、Kafka、Spark等相应组件;对于Hadoop集群测试,通过了中国通信信息研究院对大数据平台功能及性能的测试;对于算法的测试分别从算法准确度、效率、所需训练数据集三个方面进行了测试及评估。通过对这个项目的研究与实现,使得“电能E购”电商平台有了更快的响应速度、更好的用户体验。推荐算法及大数据平台对电商平台的效益有了极大的提升,此项目的研究与实施对社会发展及学术研究也具有重要意义。