【摘 要】
：
随着以传感数据为基础的物联网应用的发展,如何在大规模历史数据基础上实现针对高速数据流的实时计算成为云计算领域的新挑战。提出了一种面向大规模历史数据的数据流处
【机 构】
：
中国科学院 研究生院, 北京 中国 100190
【出 处】
：
2012年第三届中国计算机学会服务计算学术会议
论文部分内容阅读
随着以传感数据为基础的物联网应用的发展,如何在大规模历史数据基础上实现针对高速数据流的实时计算成为云计算领域的新挑战。提出了一种面向大规模历史数据的数据流处理模型RTMR,通过历史数据预处理和中间结果缓存避免每次数据流到达时的重复处理开销,利用流水化和本地化技术减少Map与Reduce阶段间的同步开销和工作节点间的数据传输开销,改进了批处理方式MapReduce方法的数据流处理能力。在此基础上,提出了一种基于模型分析的适应性RTMR集群构造算法,根据应用特征和集群环境配置节点类型、数量和拓扑结构。以城市车辆运行数据处理应用为基准测试的实验表明,上述方法能够保障大规模历史数据上数据流处理的实时性和伸缩性。
其他文献
对轨道交通线网的数据信息及其特征进行了分析,讨论了云计算分布式编程模型中的Push方法和Pull方法信息分发机制,提出了一种适合于城市轨道交通线网的信息分发机制,该机
主要介绍毫米波(THz)测试技术的发展状况，重点阐述宽带毫米波(THz)信号发生、频谱分析、网络与RCS参数测试等方法，介绍相关测试仪器国内外的发展水平。同时分析毫米波测试
请下载后查看，本文暂不支持在线获取查看简介。
Please download to view, this article does not support online access to view profile.
1990年的第一个新春,我们迎来了《职业与健康》杂志的第六个年头。五年来,这个杂志紧密结合实际,宣传了职业与健康的关系,普及了科学常识,开展了学术交流。既有通俗易懂的文
在科学技术领域中,历数20世纪的各项巨大成就,毫无疑问,计算机及网络应用应该堪称是最惊人的。计算机及其网络的应用给我们的政治、经济、文化、生活等各个领域都带来了翻天
日本的男子团体组合一向由尊尼事物所垄断,W-inds.的出现打破了这一现象。有着完美声线的俊美橘庆太、舞蹈功力实足的帅气千叶凉平,可爱单纯的绪方龙一,他们三人组成的W-inds
勒芒是法甲中第二年轻的俱乐部,成立于1985年的勒芒俱乐部刚刚度过建队20周年的纪念日。在上个赛季的法乙联赛中。这支年轻的队伍排名第二,历史上第二次杀人了法甲联赛。与20
随着社会化网络的不断发展，越来越多的企业对大规模图状数据处理的需求愈加迫切。本文结合云计算的特点，以降低图状数据处理任务的调度长度和资源租赁成本为目标，建立大规模
最近,娱乐界流行新节俭主义,偶像们的这些“抠门”行为,很值得我们追星族大追特追呢!“孔雀”女孩张静初:货比三家因主演《孔雀》获得银熊奖的张静初,是那种知道自己属于何种
请下载后查看，本文暂不支持在线获取查看简介。
Please download to view, this article does not support online access to view profile.