Storm下基于最佳并行度的贪心调度算法

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:rgypf1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对Topology任务的并行度配置,当配置不合理时依然会造成Topology处理时延增大、吞吐量降低等问题。针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法,调度时先求解Topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率。
其他文献
笛子作为中国最古老的吹奏乐器,至今已经有8000年的历史了,被誉为“吹奏乐之王”。本文通过对比曲笛和梆笛的特点,进而分析南北笛曲的艺术风格,为笛曲音乐赏析提供依据。 As
分析了ADINA的基本方程求解特征,将弹塑性有限元和B样条形状描述应用到冷冲压拉延成形加工中,以描述拉延件形状的B样条控制顶点作为设计变量,采用复合形优化算法进行形状优化.采
科研资源向本科教学资源转化从而实现本科教育的科教融合统一,不仅是落实国家发展战略的重要体现,更是卓越人才培养的有效方式。通过分析卓越人才培养目标下科研资源向本科教
周仲瑛教授就非典型肺炎的病因病机、发展演变、辨证处方、预防等方面提出了独特的见解.认为发病与感受"非时之气"及伏邪相关;病变由表入里,顺三焦传变,若热毒炽盛,亦可逆传
原发性肝癌(hepatocellular carcinoma,HCC,以下简称肝癌)在全世界的发生率位居各类肿瘤的第5位,病死率高居第3位。在我国,肝癌更是居于男性恶性肿瘤病死率的首位。乙型肝炎病毒(HBV
在国际上诸多《德意志意识形态》手稿编排方案中,《马克思恩格斯年鉴》刊登的手稿编排方案最为合理。在编辑观念上,它忠实地再现出这部未完成作品的原貌,排除了其他编排方案主观
本刊讯中国铁建十八局集团施工的中国高铁首座钢管混凝土转体拱桥———成都—贵阳高速铁路西溪河大桥顺利实现梁部结构连续顶推合龙,标志着大桥主体建成。该大桥创下中国高
中职国际商务专业的教学目标是培养合格的外贸初级技能型人才,要求毕业生具有较强的实践能力。目前由于种种原因,导致中职国际商务专业实践教学普遍弱化,多数中职校国际商务
本文主要介绍了通路信噪比和等效输入噪声的关系以及如何测量通路的等效输入噪声等技术问题。
通过对开裂的渣油加氢冷高压分底排污水管线大小头的综合分析 ,结果表明在高硫化氢含量、高压力下 ,即使碳钢的含硫量达 0 .0 0 3% (质量分数 ) ,也可以由脆夹杂物引起氢致开