【摘 要】
：
随着用户数和业务规模的高速增长,电信企业每天产生的信令监测数据高达数十TBs。传统的基于关系型数据库的数据处理方式已经不能应对如此巨大的数据量。如何高效地对信令数据
论文部分内容阅读
随着用户数和业务规模的高速增长,电信企业每天产生的信令监测数据高达数十TBs。传统的基于关系型数据库的数据处理方式已经不能应对如此巨大的数据量。如何高效地对信令数据进行分析是电信业普遍存在的一个棘手问题。Hadoop包括了一个MapReduce的开源实现,可以用来构建低成本、高性能的分布式数据分析系统,从而克服单机分析系统吞吐量不足的问题。另外,Hadoop还提供了安全、可扩展的海量数据存储方案。论文基于MapReduce分布式编程模型,介绍了如何实现海量信令数据的分析。以信令监测系统产生的呼叫详细记录为数据源,设计并实现了一套完整的分布式信令分析方案,包括数据预处理、数据分析和结果输出。详细介绍了利用HIVE将信令分析作业转换为MapReduce任务的过程。论述了任务转换和结果存储的优化方法。信令分析系统内同时运行着大量作业,这些作业共享集群资源。任务调度目的是解决资源分配问题,从而提高系统效能。Hadoop默认的调度器忽略了不同作业的需求差异,可能造成一些作业永远无法获得合适的资源。本文提出了一种MapReduce环境下的最低松弛度优先(Least Laxity First, LLF)任务调度算法,解决了调度的公平性问题,并支持特殊优先级抢占。
其他文献
为了研究大伙房水库流域森林生态系统枯落物层和土壤层水文效应,以流域内3种不同植被类型为研究对象,采用浸泡法、环刀法对其枯落物层和土壤层水文功能进行定量研究。结果表
"会通"是中西文化贯通的方法,这种方法贯穿于中国翻译传统的全程。从文化会通思想出发,探索这个文化命题在翻译活动中的运作及其与翻译文化资本之间的互动关系。通过考察中国
中西方由于时代、区域、社会及民族的不同,导致不同的思维方式。因此,在汉英翻译中会出现文化困境,本文以林语堂英译《兰亭集序》为例,从分析中西思维方式差异的角度,探讨如
蓝宝石晶体具有熔点高、硬度大以及优良的光学和物化特性,是一种典型的军民两用材料,在红外导弹的整流罩和强激光武器的窗口材料等领域有着重要的应用,同时也是LED照明产业最
政府采购制度具有追求综合效益、宏观调控经济、防止政府腐败的职能。当前我国的《政府采购法》存在主体规定不清晰、法律适用范围狭窄、采购合同定位不明确、采购行为缺少行
复仇作为一种制度随着国家化的进程已经消失了,但作为一种现象在历史上是长期存在的,在现实中还是不断发生的。无论是国内还是国外都存在复仇现象的阴影,形成巨大的社会和国
针对电压互感器三次谐波电压异常,对PT中性线缺失后三次谐波电压产生的机理进行了分析,重点说明了Y/y0接线的三相组式PT的工作原理,得出PT中性线接线正确是测量装置能够正常
对新疆渭干河-库车河绿洲的生态安全水平进行客观评价,为制定和实施干旱区可持续发展措施提供科学依据.基于"经济发展-社会进步-生态保护"协调发展的理念建立生态安全指标体
企业年金对建立我国社会养老保险体系,促进保险市场和资本市场的发展都具有重大的意义。然而,随着企业年金市场参与机构即将正式进入,税收优惠问题已越来越成为阻碍市场发展
企业不同的资本结构往往会形成不同的治理结构,并带来不同的治理效果。国有控股上市公司因控股股东的政府属性或政府背景,形成了公司特有的股权结构、资本结构,成为影响公司