论文部分内容阅读
近年来,随着计算机技术、互联网技术的飞速发展,大数据时代已经到来,而在数据应用管理中,提高数据管理系统的高效性十分重要。但是在数据类型不断丰富、数据规模不断扩大、非结构化数据逐渐发展成为处理与存储对象等原因的影响下,传统的数据库已经失去了原有的控制与主导地位,无法切实解决数据管理中存在的现实问题,无法经济有效的开展数据访问、数据分析、数据存储等项工作。Hadoop的应用,能够提高并行处理、底层存储的透明化,使得数据库拥有高性能的存储能力与集群计算能力,随之,在大量数据处理与分布式计算中,Hadoop的重要性日益显现。同时,将Hadoop应用于数据迁移中,还需要对此平台与关系型数据库之间的关系进行探索,了解如何在提高查询效率、处理海量数据的过程中实现数据迁移,将数据导入至Hadoop之后进行专业的数据分析与处理,此为开展本研究的关键目标。通过收集、分析大量的国内外参考文献,掌握现有关于数据迁移系统的研究现状与应用状态。为保证本研究的开展具有坚实的理论基础,本研究重点分析了Hadoop、云计算、数据迁移的概念,并从HDFS文件系统与MapReduce模型两方面介绍了Hadoop技术体系,之后对Hadoop数据查询技术与数据迁移的关键技术进行了探索,诸如Sqoop技术、ETL技术等。为优化基于Hadoop平台的数据迁移系统,本研究设计了该系统的总体框架与数据块模型。随之从数据划分与迁移方式两方面研究完善数据迁移系统的步骤。在实现与测试数据迁移系统的过程中,对硬件配置条件、平台搭建流程、实验过程等均进行了调整,且对数据迁移系统进行了测试。通过基于Hadoop平台的数据迁移系统的实现与测试,验证了该系统的构建与应用可以完整的对数据查询、数据迁移等进行同时处理。其中,数据迁移过程中完善了调度算法,并由此改善了数据迁移的基本性能。另外,将Hadoop平台与数据迁移系统相结合,利用Hadoop平台处理大数据,可充分发挥其自身在查询方面的效率。由此可见,本研究在大数据迁移与处理上具有明显的参考价值。