论文部分内容阅读
面对大数据大容量、高速率和多样性的特点，传统关系型数据库不再能满足处理海量非结构化数据的需求，越来越多的数据中心开始使用以NoSQL数据库为主，多个数据存储组件相互协同的多存储系统。为了发挥多存储系统中各个存储组件的功能，数据需要在多个存储组件之间进行同步，以ETL和客户端多路写为代表的传统数据同步方式不能满足以NoSQL为存储核心的多存储系统。本文提出的非结构化数据多存储系统以HBase为主数据库，使用Coprocessor索引信息记录和WAL日志文件解析两种方式捕获HBase中的数据变更，并将以此方法实现的变更捕获组件接入DataBus实现数据通道，构建以数据库变更为同步手段的非结构化数据多存储系统。实验结果表明，该系统具有较高的数据变更捕获性能和良好的可扩展能力，为非结构化数据多存储架构提供了一种可行的解决方案。