基于遗传算法的Spark中间结果数据迁移策略

来源 :软件导刊 | 被引量 : 0次 | 上传用户:qnmdmmmm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Spark是大数据内存计算系统的典型代表,通过内存缓存数据加速迭代型、交互型大数据应用的运行。基于时间窗口的数据分析是一类典型的大数据迭代型应用。基于Spark平台运行时间窗口数据分析应用,存在中间结果数据放置不均的问题,造成应用执行效率降低。针对上述问题,提出基于遗传算法的Spark中间结果数据迁移策略,通过考虑中间结果数据迁移时机、迁移数据规模,并使用遗传算法优化选取迁移数据放置位置,提高时间窗口应用执行效率。实验结果表明,在既有Spark平台中,采用该迁移策略可使时间窗口应用执行时间最大减少28.4
其他文献
本研究以山东体育科技管理为研究对象进行系统研究,从社会、历史、发展的视角,采用文献资料法、调查法、逻辑分析法、数理统计法、比较研究法等研究方法,对山东体育科技管理的发
本文对附着式升降脚手架的构造进行分析,研究附着式升降脚手架的施工技术,希望为我国高层建筑项目施工工艺的发展提供帮助。
目的分析溴隐亭治疗垂体催乳素(eRE)腺瘤的使用方法和效果。方法选取2014年6月~2016年6月收治的垂体PRL腺瘤患者共47例为研究对象,其中垂体微腺瘤(肿瘤直径≤10mm)27例,垂体大腺瘤(肿
本文阐述了目前国内外模块建筑的模块单元连接构造方式,主要有插销式连接、螺栓连接和法兰盘等连接方式,节点属于铰接或半刚性连接,用于多层建筑是可行的。我国绝大部分城市
军事信息系统综合集成可以有效提高海军一体化联合作战能力。海军信息系统集成必须首先实现信息和资源的共享,即解决当前信息系统中由于历史原因所形成的"信息孤岛"。文章通
现代信息技术在初中教育教学领域中的渗透,使德育教学环境得到一定的改善。文章从创新教学理念、查询德育资料、创新教学方式、丰富德育活动、做好德育测评、增加教学互动六
目的以"广州市海珠区以购买服务方式配置学校卫生专业技术人员项目"试点为例,探索该模式的可行性,为学校卫生工作改革提供依据。方法在全面分析试点项目的基础、模式、内容、
为了研究船舶封闭舱室火灾轰燃现象,首先用非线性动力学方程分析了燃烧过程中热增益与热损失对轰燃的影响,界定了轰燃发生的临近判据;其次进行火场实验,重构了目标舱室火灾轰燃现
民歌是我们中华民族一种古老的艺术形式。然而,民歌随着时代的发展与变迁却产生了一些变化。在当今社会,"新民歌"已经成为大众关注的焦点,它的出现让我们距离原生态民歌越来
把学习、实践、研究、培训、能力和素质提升等涉及教师发展的活动用"研修"这一概念来加以总括,是课改之后的一大发明。其最为重要的意义之一就在于将教师及其成长明确定位为学
期刊