【摘 要】
：
MapReduce是一种应用广泛的并行编程模型,Hadoop是MapReduce的开源实现。为了满足不同类型的MapReduce作业对任务分配策略的特殊需求,在深入分析Hadoop固有任务分配机制
【机 构】
：
School of Computer Science, Northwestern Polytechnical University, Xi'an 710002
论文部分内容阅读
MapReduce是一种应用广泛的并行编程模型,Hadoop是MapReduce的开源实现。为了满足不同类型的MapReduce作业对任务分配策略的特殊需求,在深入分析Hadoop固有任务分配机制的基础上,设计并实现了一种可扩展的任务分配模块,用户可以根据作业的特性实现并加载自定义的任务分配器。在可扩展的任务分配模块的基础上实现了两个典型的任务分配器,实验结果表明使用可扩展任务分配模块并加载适用于特定作业的任务分配器能够显著地缩短作业的执行时间,提高Hadoop的处理性能。
其他文献
为解决现货市场和配售侧放开环境下综合能源系统与外部电网联合出清问题,提出一种多主体利益互相制衡的日前-实时两阶段出清方法.该方法考虑日前出清阶段驱动各方利益,实施多
随着定位技术在很多领域的应用，越来越多的应用系统服务器中开始存储大量的定位数据，而如何对这些定位数据进行聚类分析日益成为一个研究热点。针对以轨迹片段表示轨迹局部
左舜生又是一个1893年人,他最后成了一位历史学家,但是,他的前半生的经历非常丰富,非常多姿多彩,他曾是“少年中国学会”的会员,也是中国青年党的“曾、左、李”三巨头之一,
网页信息抽取旨在从网页中抽取出结构化信息，网页中不仅仅包含由自然语言构成的自由文本，同时也包含如表格、列表等半结构化文本，之前相关研究大多仅针对单种文本进行抽取，提
提出一种将基于聚类集成修剪同动态选择与循环集成结合的方法。首先，利用基于K-均值聚类算法的修剪策略对全部的候选分类器进行筛选，形成新的候选分类器集合。然后，改进动态
针对基于模块化多电平换流器的多端柔性直流(MMC-MTDC)输电系统,提出考虑应用场景多维特征的拓扑选择和参数配置方案.根据时间特性、空间分布和资源容量3个维度的场景特征,建
青年时代的汪精卫,相貌堂堂,颇有才华,向有“美男子”、“才子”之誉,又热心革命,气度不凡,很受当时著名的革命党人方声洞器重,由此经常出入方家,不久就与方的妹
Wang Chin
眼下的文坛和学界越来越像是娱乐圈,尽出些令人匪夷所思的新闻。不知是否是受季羡林先生请辞三顶“桂冠”的启发,著名作家余秋雨先生也出来“请辞”了。据《上海青年报》报道
针对查询自动补全在传统的关键词检索系统得到了广泛的研究，但空间关键词检索并未得到足够的重视这一特点，本文提出一种基于日志项在线聚合的空间关键词检索的查询自动补全
随着信息管理内容的不断扩展，出现了丰富多样的数据模型，而针对不同类型数据库的自然语言处理也是数据库管理中亟待解决的问题。因此提出了一种适用于信息网数据库系统的中