【摘 要】
：
智能电网信息系统中面临着大规模数据存储、快速查询和更改等问题,针对实际应用中遇到的Apache Hive在数据更改能力上存在的不足,分析了智能电网系统中数据更改特点和Hive各
【机 构】
：
中国科学院计算技术研究所北京100190;中国科学院大学北京100049中国科学院计算技术研究所北京100190国网电力科学研究院北京100761浙江省电力公司杭州310007
论文部分内容阅读
智能电网信息系统中面临着大规模数据存储、快速查询和更改等问题,针对实际应用中遇到的Apache Hive在数据更改能力上存在的不足,分析了智能电网系统中数据更改特点和Hive各种数据更改方案存在的问题,提出了一种支持大数据处理的混合存储模型DualTable.该模型通过整合分别支持"高吞吐流式读"和"高效随机写"的2种存储,并利用代价模型选择存储策略,让Hive能够同时支持高效的查询和更改操作.通过在公开数据集上比较DualTable与普通Hive的查询和更改效率,验证了所提模型在改进Hive更改效率上的有效性.
其他文献
随着Android智能平台的普及,其安全问题尤其是应用安全日益受到人们关注.目前还没有能够在非root权限下对应用权限进行有效管理的方法.本文基于安全策略的思想,提出了一种And
Recently,fingerprint recognition technique has been used to improve the security of online transaction by smart phone.The size of fingerprint is a key prope
The cryptographic algorithm MIBS was proposed in CANS 2009.It is a lightweight cryptographic algorithm which is currently suitable for the implementation su
在流式数据的实时处理中,计算资源有效利用以及计算性能是计算平台的重要评测指标.本文在一个以storm为基础的计算平台上,实现一套自定义的调度机制,针对不同的计算任务,分配
服务在移动环境下具有传统服务的一些特性如服务质量,但是相较传统互联网服务会拥有自身的一些特点.本文主要关注的内容是在移动环境下服务的可用性问题.由于移动环境下服务
随着Web技术的成熟和广泛应用,开放地理空间联盟(Open Geospatial Consortium)依据Web服务规范,构建并发布了很多Web服务,这些Web服务可组合为服务片段,以增值服务的方式实现
数据分析和处理是大规模分布式数据处理应用中的重要任务.由于简单易用和具有灵活性,MapReduce编程模型逐渐成为大规模分布式数据处理系统(如Hadoop系统)的核心模型.由于MapR
由于图数据之间关联错综复杂,图数据处理一般存在局部性较差的问题.因此,高效的处理大规模图数据一直是一个挑战.介绍能够高效处理10亿级别图数据的系统——以路径为中心的Tr
A new disruption method using oscillating electric field has been developed in this study.In a low voltage oscillating electric field,Eschericia coli cells
冲突消解俨然成为数据集成中非常重要的过程,如何高效地从冲突描述中发现真值具有重要的研究意义.随着原始数据中混乱描述集的比例越来越大,现有的方法准确率也逐渐降低.针对