一种大规模数据快速并行导入工具的研究与实现

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:daliangengbo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大规模数据的快速增长及高可靠性需求,将本地数据迁移到分布式数据库势在必行。针对这种情况,提出一种基于MapReduce的“快速并行导入”技术,充分利用集群的并行计算能力,直接向HBase底层存储文件HFile写入数据,既可避免上层数据导入时间的浪费,又节省资源开销。有效解决了从单机数据库向HBase分布式数据库导入数据功能低下、效率不高等问题。实验结果表明,在“快速并行导入”技术的基础上设计并实现的快速并行导入工具,支持多列族文本数据的快速导入。与传统使用API导入数据相比,速度提升一倍以上。
其他文献
1 材料与方法1.1 实验动物购入1日龄健康AA肉雏鸡60只,隔离饲养于洁净动物房内,不做任何疫苗免疫接种,专人常规饲养至20日龄.随机分为试验组和对照组,每组各30只,并将两组隔
男女平等是我国基本国策。人力资源社会保障部、教育部等九部门近日下发通知,进一步规范招聘行为,促进妇女平等就业。总体工作要求以习近平新时代中国特色社会主义思想为指导
目的:应用全自动生化分析仪监测妊娠糖尿病患者血脂的情况,目是为了将妊娠糖尿病发病和妊娠胎儿结局间与孕期血脂关系的情况进行研究。方法:选择医院325位妇产科待产孕妇,具
目的探讨瞬时弹性成像技术在不同人群的检测差异进行分析,构建合理的FS检测模式。方法纳入研究对象为2018年1月—2019年6月就诊的678例患者,比较不同年龄段、性别的肝脂肪变
2019年12月起,一场由新型冠状病毒引起的肺炎疫情席卷而来。定点救治医院在全力救治感染患者的同时,有序开展突发公共卫生事件应急科研管理工作,对医院应急科研管理机制建设
目的观察在预防卧床制动患者由于通气面罩所致的压疮中水胶体敷料的临床效果。方法选择2016年3月~2019年3月100例使用无创通气面罩的患者作为本次的研究对象,根据随机分配原
<正> 两个文明建设成为报纸的主旋律中国报业经过长期探索、发展,在报道内容上发生了深刻的变化,这是我国报业一个更伟大的转变。早在建国前夕,毛泽东主席在1949年3月召开的
和林格尔县位于内蒙古中部,呼和浩特南47公里处,面积3436平方公里,人口18.7万,是国家级贫困县。全县经济总量很小,截止1997年底,全县国内生产总值为3.81亿元,财政收入1955万
论述了增材制造的特点及增材制造技术在国内外的发展和应用情况;分析了增材制造成型工艺过程中形成缺陷的类型及特征,同时结合各类无损检测方法的应用特点,介绍了针对增材制
目的对中国南方地区单纯性先天性心脏病患者进行NKX2.5基因胚系突变的筛查,探讨其在单纯性先天性心脏病发生中的作用及基因型与表型的关系。方法应用聚合酶链反应(PCR)结合DN