【摘 要】
：
企业数据量指数级增长趋势对数据中心的存储系统设计带来极大挑战。重复数据删除技术通过检测并消除特定数据集内的冗余数据,极大缩减数据存储容量,优化存储空间利用率。本文利用Hadoop大数据处理平台下的分布式文件系统HDFS和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBa
论文部分内容阅读
企业数据量指数级增长趋势对数据中心的存储系统设计带来极大挑战。重复数据删除技术通过检测并消除特定数据集内的冗余数据,极大缩减数据存储容量,优化存储空间利用率。本文利用Hadoop大数据处理平台下的分布式文件系统HDFS和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。
其他文献
Erosion-wear of QAl9-4 aluminum bronze in liquid-solid two-phase flow(3.5％NaCl+ SiC)was investigated by using a rotating disk system.The influences of impacting speed and size of SiC on the surface mo
In order to obtain a combination of oxidation resistance and mechanical property,in situ hybrid TiC particles and TiB whiskers reinforced Ti6Al4V((TiCp+TiBw)/Ti64)composites with a novel network micro
The deformation behavior of as-sintered CNTs/Al-4Cu composite was investigated by isothermal compression tests,which were performed among temperature range of 300-550℃ and strain rate range of 0.001-1
Novel hybrid-reinforced(Ti5Si3+TiBw)/Ti-6Al-4V composite was in situ sintered via reaction hot pressing(RHP).TiB whisker(TiBw)formed one-scale network structure around Ti-6Al-4V particles,while Ti5Si3
During a heart attack,the hearts oxygen supply is cut off,and eardiomyocytes perish.Unfortunately,once these tissues are lost,they cannot be replaced and results in cardiovascular disease-the leading
Calcium phosphate coatings have been generally considered as an effective approach to providing the metal implants with good biocompatibility and osteoconductivity.In addition,zinc element has been pr
随着国际上新一代中子源的发展,传统的中子探测器已经不能满足高通量的应用需求,同时面临当前3He气体资源严重短缺的国际形势,研究替代3He的新型中子探测器已成为粒子探测领域的研究热点.基于GFM(GaseousFlectron Multiplier)的中子探测器,计数率高,并且具有较高的位置与时间精度,是未来替代3He中子探测器的一个发展方向.本文主要利用Geant4程序包对探测器物理过程进行蒙特卡
为提高核燃料元件UO2芯块金相检验效率,增强信息化水平,使用Axio Imager.M2m全自动金相显微镜基于配套的AxioVision图像分析软件提供的VBA平台,二次开发一套U(L芯块晶粒尺寸和气孔分布测量软件.通过对需求的深入分析,对操作流程的精细优化,创新的设计了自动芯块检验区域识别、平面聚焦补偿、自动晶粒截点类型计数等更智能化的算法.通过与金相镶样管理系统连接自动导入样品信息,实现采集图
为优化某核电厂实物保护系统探测、响应环节,对技防报警、视频监控方式和电子地图的设置进行分析改进.报警的设置层次不够分明,最有价值的报警不突出,报警信息字段不精练,报警视频联动过多;改进后报警分三级,不同级别报警信息颜色、声光速度不同,只有重要的报警才联动视频,对警卫无价值的设备状态、事件不作为报警.视频轮巡为监视屏全部依次轮巡,不能快速通过监视屏锁定摄像机,出入口报警视频联动设置在一块监视屏上,多
本研究为了解决采用酸溶碱融法溶样,ICP-OFS法测定铍铀伴生矿石中的铍含量过程中产生的基体干扰问题.酸溶碱融溶解铍铀伴生矿石中的铍,加入的焦硫酸钾对ICP-OFS法测定存在基体干扰.本研究主要阐述消除基体干扰的一些措施.从实验数据可知,控制称样量、焦硫酸钾加入量、定容体积和加标稀释倍数,能够有效消除焦硫酸钾对ICP-OFS法测定结果的基体干扰,6次平行测定结果的相对标准偏差为3.39％,3次加标