【摘 要】
：
随着互联网的快速发展,视频网站以优质的服务、丰富的内容赢得了广大网民的喜爱。分析网站关键指标如:数据的“区域分布”、“频道分布”、“时间分布”、“观看时长”等,可
【出 处】
：
中国科学院大学(中国科学院工程管理与信息技术学院)
论文部分内容阅读
随着互联网的快速发展,视频网站以优质的服务、丰富的内容赢得了广大网民的喜爱。分析网站关键指标如:数据的“区域分布”、“频道分布”、“时间分布”、“观看时长”等,可以为视频网站的运营、资源的配置以及广告的投放提供有力的数据支持。然而,需要分析的视频日志通常多达TB甚至PB,传统的分析模型由于CPU、内存等物理条件的限制很难满足需求,因此,如何利用大数据技术构建一个视频日志分析系统的需求显得尤为迫切。本课题设计和实现工作包括以下内容:1,采用Flume、Kafka以集群的方式进行日志收集,收集过程中为日志打上标签说明日志来源的机房、机器、收集时间等相关信息,从而保证日志收集具有高效、准确、稳定的特性。2,对于存储在HDFS上的离线数据,采用MapReduce进行清洗、转换、加载到Hive表中,通过Hive Sql进行聚合、去重等计算;对于实时数据,采用Spark Streaming读取Kafka中消息对日志进行分析。3,设计并实现了基于Canopy的K-means聚类算法对用户行为进行分析,其中改进后的算法能够有效解决K-means算法在初始聚类中心的选择和异常点处理的局限性问题,通过该算法能够把相同兴趣的用户聚类出来,为后续的用户行为分析提供依据。4,本系统通过对Echarts部分代码的改进和扩展,增加了鼠标焦点提示功能,在Echarts丰富的数据展示基础上更能直观的展示数据,满足了数据分析师工作的实际需求。本课题设计实现的“基于Hadoop的视频日志分析系统”从功能和性能上都达到了设计要求,已经在公司内部得到了实际应用。测试结果表明系统能够很好地为数据分析师和公司管理者提供数据服务。
其他文献
目的 探讨器械吻合与手工吻合在食管癌手术中的应用效果差异。方法 选择2011年3月—2012年12月期间该院收治的90例食管癌患者为研究对象,根据吻合方式分为器械吻合组50例,手
目的：对颈部单层吻合手术治疗食管癌患者的临床疗效进行观察分析。方法选择2010年1月～2013年10月期间在我院进行治疗的68例食管癌患者作为研究对象，运用随机双盲法将其分为研究
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
目的比较食管和胃壁局部涂抹蛋白生胶和吻合口外局部减压的手工吻合方式与常规手工吻合方式。方法同期进行食管癌手术食管胃颈部吻合230例患者,随机分为研究组(130例)和对照
从痰瘀致冠心病的理论基础、痰瘀致冠心病的病因、病机、痰瘀论治冠心病等论述从痰瘀治疗冠心病。认为治疗冠心病痰瘀同病,应化痰祛瘀同时以健脾益气,疏肝行气,温肾滋阴。
会员企业:唐山市恒瑞瓷业有限公司微咨询问题:公关关乎着企业生存和发展的大问题,请问恒瑞瓷业想要在全国打开市场需要做怎样的公关策划?企业简介:唐山市恒瑞瓷业有限公司是
从古希腊时期至今,艺术与科学经历了不分、独立发展、融为一体的三个阶段,在时代的发展中逐渐由对立走向统一。该文首先探索艺术与科学在不同时间段的关系,其次阐述艺术与科
山羊足防滑缓冲特性研究与仿生足设计四足机器人的运动理论日臻完善,国内外研究成果丰硕,四足机器人已经基本能在结构化路面实现如平地跑跳、斜坡行走和攀爬楼梯等运动。然而,四足机器人在复杂路面的行走稳定性与四足动物还有很大差距。本文从影响其稳定行走的关键部位,四足机器人足部的设计需求出发,以山羊足为仿生原型,观察其运动特点和结构形态,研究其防滑和缓冲机理,并进行仿生足设计,为具有防滑缓冲特性的四足机器人足
本文主要探讨具有营林生产特点的投入产出模型,就山东省林业投入产出表的设计做了详细说明,并对山东省林业投入产出预测模型做了简要介绍.
大王庄油田处于开发后期，掌握剩余油情况至关重要，单一饱和度测井方法难以满足精细解释评价的需要。脉冲中子全谱饱和度测井集碳氧比能谱、氯能谱、中子寿命、氧活化测井技术于