基于Hadoop的个性化视频推荐系统的设计与实现

来源 :北京工业大学 | 被引量 : 8次 | 上传用户:yan3134
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机与互联网技术的发展,互联网上的数据迅速膨胀,其中视频数据更呈现指数级别的增长。视频数据内容丰富、数量巨大、结构多样,给用户检索带来极大的挑战,用户越来越难以在短时间内从海量视频数据中挑选出自己真正喜欢的视频,使得用户对个性化服务产生了迫切的需求。因此,个性化推荐应运而生。如何快速准确地从海量视频数据信息中为用户推荐其感兴趣的视频,达到提高用户检索效率的目的成为亟待解决的问题。本文的主要工作:(1)建立了视频数据预处理算法,该算法通过对原始视频数据进行解析、清洗、离散、归一化处理,为视频向量的构建提供了整齐规范的源数据;采用中文分词和词频统计对新闻类视频名称进行文本分析、制定关联规则,完成了对视频本体数据的关联补充,丰富了数据维度,为推荐构建了结构化的视频特征向量。(2)通过行为分析和建模处理,挖掘出了用户在类别、国别、年代、主演、导演、热度值、评分等维度的兴趣偏好,为推荐算法构建了基于视频特征的双层树状用户模型。(3)建立了基于内容的多维度推荐算法,该算法通过余弦相似度公式计算用户兴趣模型和视频特征向量在多个维度的相似度,并结合各维度权重设置,得到了用户对各视频的偏好值,完成了TOP-N推荐;通过添加混合策略改进了传统的基于项目的协同过滤推荐算法,改进后的算法解决了新闻类视频推荐中忽略实时性和热点性的问题。(4)本文实现的基于Hadoop分布式平台的个性化视频推荐系统,经过测试已达到设计要求,并实际上线成功应用于某智能电视中。
其他文献
带电粒子在交变场中运动的问题,内容丰富多彩,情景变化多端,生活场景与科技前沿交相映汇,趣味性与探秘性隐含其中,物理问题的对称美、和谐美能够得到彰显.这类问题中,基本模
空间数据库是近年的热点研究领域,而反近邻查询作为空间查询的重要操作被广泛研究。随着研究深入,在反近邻查询的基础上扩展了各种查询处理方法来满足人们新的查询需求,如互
分类器是机器学习领域研究的核心问题。目前已经发展了很多的分类算法。尽管这些分类算法表面上看起来形式多样,但都可以用基于Margin的理论框架来进行解释。本文试图对这种理
门禁系统主要负责对出入通道进行管制,是社区楼宇安全监控系统的一部分。传统的门禁系统通常采用密码识别、卡片识别的方式进行验证,由于密码、卡片容易被盗用、丢失,系统安全性
汉语自动分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、语音识别、文本语音转换、自然语言理解等中文信息处理领域的基础研究课题。尽管已被研究了二十多年,分词
在自动机理论中,因为许多证明从数学的角度看仍然不充分,所以传统的阐述往往不能令人满意。一个典型的例子就是在传统的自动机理论中,自动机的状态转换仅仅是通过转移函数来
作为当代数控系统主流发展趋势,开放式数控系统要求其人机界面具有二次开发的功能。所谓的二次开发是指界面系统提供专用的软件系统和方法,使用户能够根据自己的实际需要,按照规
在网络环境下,档案利用工作面临着全新的机遇和挑战。传统的档案信息服务已经经不起浪潮般的信息冲击,而网络服务的无地域性、无时间性和全方位、多层次的优势又再次把档案信
解决追及和相遇问题,多数时候都是采取数学和物理处理方法解答,而模型法则恰恰蕴含着两个方法的完美结合.但是要想解决好此类问题,还需要找准问题破解的关键点,找出两种物体
伴随着互联网的飞速发展,人们对信息形式的需求不断的丰富化、多样化。而能够为客户提供高质量图像、声音等娱乐休闲服务的流媒体点播系统,以其客户可以根据需求自由选择播放