【摘 要】
：
大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分
【机 构】
：
中国科学院计算技术研究所计算机应用研究中心,中国科学院大学,中国科学院信息工程研究所,腾讯公司数据平台部
论文部分内容阅读
大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统.
其他文献
科学计量学研究中的数据选择是定量分析的第一步,也是分析结果可信度和可行性的基本保证,但由于科学技术文献的大规模扩张,对于某一学科领域来说数据量过于庞大,因此利用期刊
由于目前学界对记名提单(Straight B/L)的性质一直没有定论,所以在记名提单的转让性问题以及记名提单下承运人是否必须凭单放货的问题上存在现有法律规定不明、各国法律规定
目的:探讨在鼻咽癌患者放疗护理中实施循证护理的临床效果。方法:选取100例鼻咽癌患者的临床资料,均给予放疗;根据护理方法分为观察组(循证护理)与对照组(常规护理),各50例。
微米和中间尺度机械制造的概念源于对广泛材料范围内的精密三维微米和中间尺度零件日益增长的需求。微米和中间尺度零件是指尺寸在0.01～10mm范围的微小零件,因而处于基于微电
目的:探讨多层螺旋CT影像技术在颌面部骨折中的应用,为临床工作者提供参考。方法:回顾分析自2012年12月至2014年12月期间,我院收治的32例颌面部骨折患者的临床资料。对患者进
《李白诗六首》是马思聪在美国创作的声乐作品,也是他为数不多的艺术歌曲集之一,这六首歌曲突出表现了他晚年流落异乡时难以释怀的思乡情结。创作上,无论是旋律发展、调性安
以桑葚果汁、魔芋精粉为主要原料设计出桑葚营养果冻的实验方案和工艺流程,通过正交实验确定桑葚果冻的最佳工艺配方,最后还制定了产品质量标准。采用该配方制备的果冻,营养
<正>据英国《泰晤士报》2010年5月4日报道,尽管政府花费了数十亿英镑以缩小教育差距,但是保守党的数据表明,私立学校的学生成绩仍遥遥领先于综合中学的学生,差距继续扩大。
在海拔2000米、3000米及4000米左右的青海高原地区,利用三轴、四轴重型车进行了油耗的实测试验,给出了该类车型在青海高原环境下道路运输中空载、满载下平均油耗的大概范围,
目的:总结分析320例后牙应用牙髓摘除术的临床疗效。方法:无痛下开髓、拔髓、预备根管、止血消毒后充填根管。结果:术后有效率为91.9%,远期出现冠折、慢性根尖炎、残髓炎等并