论文部分内容阅读
随着移动互联网和物联网的飞速发展，数据规模呈爆炸性增长态势，人们已经进入大数据时代。MapReduce是一种分布式计算框架，具备海量数据处理的能力，已成为大数据领域研究的热点。但是MapReduce的性能严重依赖于数据的分布，当数据存在倾斜时，MapReduce默认的Hash划分无法保证Reduce阶段节点负载平衡，负载重的节点会影响作业的最终完成时间。为解决这一问题，利用了抽样的方法。在用户作业执行前运行一个MapReduce作业进行并行抽样，抽样获得key的频次分布后结合数据本地性实现负载均衡的数据分