基于大数据的影视内容混合推荐算法研究与实现

来源 :桂林理工大学 | 被引量 : 0次 | 上传用户:woshizhuwoshizhu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自从我国提出了“互联网+”国家战略后,计算机互联网技术得到了更加迅猛的发展,无论是我们的购物、娱乐等方式都变得更加便捷与智能,数据与信息量呈现快速增加,怎样从这些大数据中挖掘出具有价值的信息也是一个热门的科研课题,推荐系统不仅能给用户呈现极佳的产品体验效果,更能给企业带来很大的经济效益。个性化推荐算法被越来越多的应用到各行各业,而且随着具体业务场景的复杂化,在推荐算法领域,产生了很多比较优秀的解决方案,本文深入研究了当下热门的推荐算法,并阐述了改进后的混合推荐算法,并取得了较好的结果。本文的主要研究工作为:1、目前的推荐系统仍然存在一些问题,比如推荐精准度不高,数据稀疏性比较严重,单机模型与现有处理技术也难以满足海量数据的处理需求。本文深入研究了当下热门的推荐算法,通过优化组合,形成了改进的混合推荐算法,并取得了较好的结果。2、针对协同过滤算法做出深入的研究学习,重点对基于奇异值分解、spark MLlib ALS(Alternating Least Squares)推荐算法进行研究分析,对稀疏且高维的用户-项目矩阵进行降维,在矩阵重构分解时引入RMSE(Root Mean Squared Error,RMSE)指标,为提高预测评分精准度,最后将两次预测结果进行线性组合,从而得到最终推荐结果。3、引入Hadoop与spark原理技术,设计并搭建了多节点的分布式架构集群,以其中一台计算机为Master主节点,其它四台计算机为Slave从节点,在基于spark集群上设计实现了混合电影推荐算法系统,充分利用了spark强大的算法库为整体系统提供较好的扩展性与易用性,提高了系统数据存储性能与处理速度。4、通过本文设计的推荐算法,成功利用了MovieLens数据集进行实验与验证,采用不同维度的对比机制,经过多次严格的实验结果对比分析,得到在五台集群模式中比单机处理环境在运行时间上提高了60%之多,并且与单机模式相比,在分布式集群上的推荐精准度提高了将近4%左右。综合以上,本文基于spark上的混合推荐算法在精准度、数据稀疏、可扩展性等指标上都有所提高与优化。
其他文献
他既不是明星,也不是大腕,只是淘宝网的一个小店主。却在网络上迅速走红,拥有众多FANS,月收入三万。这位网络红人是谁?他的店,到底做着什么稀罕生意?
电网质量对社会经济的影响愈加深远,电网电压缺陷会带来很多问题甚至损失,因此研究电网电压缺陷检测方法显得尤为重要。本文对常用的市电电压缺陷检测方法存在的优缺点进行分
手绘海报作为广告设计中的一种表现形式,一直以来以它独特的表现形式和文化内涵彰显着自己的艺术美感。随着时代的发展,电脑中各种创作素材、制作软件的使用,使商业海报的手绘方式正处于逐渐淡化的边缘。怎样才能将手绘方式更好的应用到商业海报中去,让其更具时代特色与商业实用价值,是我们设计师必须面对与思考的问题。本文通过对手绘方式在商业海报设计的梳理,明晰了手绘方式的含义、艺术特点等内容,厘清海报设计的人文背景
结合海南“国际旅游岛”建设的背景,主要采用对旅游企业负责人进行专家访谈,对旅游高等院校学生进行调研的方法,论文论述了海南旅游高等教育课程实践教学创新的必要性与可行性;研
随着电子商务的迅速发展,消费者通过网购平台选择酒店住宿已经成为一种普遍的现象。文章通过调查问卷的形式,运用联合分析的方法探讨了在大学生网购订房中消费者的购买偏好。
雷达成像是利用雷达散射回波信号反演目标重要结构信息的过程,在军事上有着重大意义。随着各种对抗雷达的技术被深入研究,采用低截获概率的信号形式以及获得高分辨成像结果显
客车在给人们带来方便的同时也带来了严重的交通安全问题。在客车交通事故中,尤以正面碰撞事故比例最高,引起了社会各界人士对客车正面碰撞安全问题的关注与研究。虽然我国对
随着我国城镇化的快速发展,城市用地面积大幅度增加,土地需求不断增长,土地供需矛盾日益突出。一方面,县域乡镇土地资源利用效率较低,空心村和闲置宅基地普遍存在。另一方面,村庄占地面积快速扩展,居民点缺少统一合理的规划造成土地资源浪费。充分了解县域乡镇的居民点分布特征、时空变化及其影响因素,对县域乡镇土地利用资源的节约利用和空间优化具有重要的现实意义。本文以河南省孟津县为研究区域,以2000、2010和
本文主要考察汉语把字句与其英语对应句句法结构和语义上的特点,揭示了语料库中每一类把字句与其英语对应句的句法结构,分析了每一类把字句与其英语对应句的语义特点,并建构了汉语把字句与英语对应句的语义图式。绪论主要阐述了论文的选题意义、理论基础和选题方法,并对以往的研究进行了综述,同时也对本论文所使用的封闭语料库进行了描写;第一章探讨了汉语把字句的分类及分布,我们在本文所使用的封闭语料库中发现了更多类型的
英语作为现代社会发展的重要工具,已经成为人才必备的武器之一。高职英语一直以来都肩负着为社会培养更多实用型人才的重任,因此加强对于高职英语的创新性分析就显得尤为重要