【摘 要】
：
数据分析和处理是大规模分布式数据处理应用中的重要任务.由于简单易用和具有灵活性,MapReduce编程模型逐渐成为大规模分布式数据处理系统(如Hadoop系统)的核心模型.由于MapR
【机 构】
：
东华大学计算机科学与技术学院上海201620国网黑龙江省电力有限公司信息通信公司黑龙江150000
论文部分内容阅读
数据分析和处理是大规模分布式数据处理应用中的重要任务.由于简单易用和具有灵活性,MapReduce编程模型逐渐成为大规模分布式数据处理系统(如Hadoop系统)的核心模型.由于MapReduce编程模型本身偏重于集群的可扩展性和灵活性,使得MapReduce在处理多路连接问题时的效率降低.针对MapReduce中的多路连接问题,分析了形成MapReduce多路连接性能瓶颈的原因,在此基础上,提出了利用建立多维空间模型来实现在单个mapreduce处理任务中完成多路任意连接的方法,最后,提出了用范围分割(rangepartitioner)来控制多路连接过程中的"数据倾斜"问题策略.实验结果表明该方法明显提高了多路连接的效率.
其他文献
视频编码率失真优化技术旨在寻求压缩码率和失真之间的均衡,在基于混合编码框架的视频编码算法中占有重要地位.而用于衡量压缩视频质量的视觉失真度量模型的精度,从根本上影
CTA影像单纯根据灰度信息无法良好地分离血管组织和骨骼组织.本文结合CTA影像的灰度特点,提出基于改进的三维区域生长算法的骨骼组织外轮廓提取和基于改进的Snake模型的骨骼
冶金起重机作为冶金行业安全生产必不可少的关键和重要设备，其工作的可靠性、安全性、先进性一直受到人们的高度重视。由于冶金起重机常吊运液态金属，并在高温、高粉尘的环境中
功耗攻击是密码芯片一种新的密钥破解方法,它对密码芯片的安全造成了较大威胁.对密码芯片运行时中间变量的功耗信息泄漏,从系统层次提出了五级功耗信息泄漏模型,在此基础上,
随着Android智能平台的普及,其安全问题尤其是应用安全日益受到人们关注.目前还没有能够在非root权限下对应用权限进行有效管理的方法.本文基于安全策略的思想,提出了一种And
Recently,fingerprint recognition technique has been used to improve the security of online transaction by smart phone.The size of fingerprint is a key prope
The cryptographic algorithm MIBS was proposed in CANS 2009.It is a lightweight cryptographic algorithm which is currently suitable for the implementation su
在流式数据的实时处理中,计算资源有效利用以及计算性能是计算平台的重要评测指标.本文在一个以storm为基础的计算平台上,实现一套自定义的调度机制,针对不同的计算任务,分配
服务在移动环境下具有传统服务的一些特性如服务质量,但是相较传统互联网服务会拥有自身的一些特点.本文主要关注的内容是在移动环境下服务的可用性问题.由于移动环境下服务
随着Web技术的成熟和广泛应用,开放地理空间联盟(Open Geospatial Consortium)依据Web服务规范,构建并发布了很多Web服务,这些Web服务可组合为服务片段,以增值服务的方式实现