【摘 要】
：
为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,
【机 构】
：
高效能服务器和存储技术国家重点实验室 济南250101
论文部分内容阅读
为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向可扩展的体系结构,并采用硬件可定制化设计和混合型软件架构支持多种大数据应用类型.在此基础上,针对HDFS元数据服务瓶颈问题、MapReduce负载倾斜问题、HBase的跨域问题,介绍了在云海大数据一体机中采用的多元数据服务、负载均衡和跨数据中心大表技术.在电信、金融和环保行业实际案例中的应用和测试表明,上述体系结构和关键技术是可行和有效性的.
其他文献
面对大数据大容量、高速率和多样性的特点,传统关系型数据库不再能满足处理海量非结构化数据的需求,越来越多的数据中心开始使用以NoSQL数据库为主,多个数据存储组件相互协同
在高速主干网络中,随着网络链路速率的不断提高和网络流数量的急速增加,同时受到硬件计算和存储资源的限制,如何及时、准确地在海量数据中,有效的检测出其中的大流信息,成为
全球数据量爆炸式增长,单节点重复数据删除系统已不能满足性能需求,集群重复数据删除系统应运而生.如何提高数据传输效率、节约网络带宽和增强系统的可扩展性,成为当前面临的
随着物联网、云计算等技术的不断发展,产生的数据也以爆炸式的速度不断增长,如何在大数据中进行挖掘和分析成为了当前学术界研究的热点Hadoop分布式计算也因此逐渐成为了大数
ITU－TSG15（传送网、系统和设备）于1998年10月12日～23日在瑞士日内瓦ITU总部召开了（1997～2000年）研究期第3次会议。参加会议的有来自30个国家的23个电信主管部门、26个认可的电信运营
在Hadoop系统中,大规模数据分析应用程序的数据本地性是影响其性能的关键因素.传统的Hadoop系统是部署在物理机中的,目前针对传统Hadoop系统提高数据本地性的资源调度方法在
特征融合是提高三维模型检索有效性的一种重要手段,越来越受到广泛关注.为解决融合特征权重的自适应问题,提出了一种基于信息熵加权的三维模型多特征融合算法,以提升检索效果
探讨S100A6蛋白对细胞中β-catenin水平的影响及可能机制。用表达S100A6及其siRNA的重组腺病毒AdS100A6和AdsiS100A6处理人骨肉瘤细胞系143B,Western blot分析处理前后细胞中
在大数据处理系统中,系统对数据处理效率、安全、稳定性有非常高的要求.为了满足对大数据实时、高效、稳定处理的需求,文章提出了一种接收与处理分离的数据处理模型,数据处理
使匈奴中郎将在东汉皇朝与匈奴族关系史中,是一个颇为重要的问题。但是,目前尚缺乏系统全面的探讨,本文欲述一管之见,就教于方家。 (一) 使匈奴中郎将是因东汉皇朝与匈奴关