论文部分内容阅读
基于Hadoop的云计算系统是一个新兴的分布式系统解决方案，在学术界及工业界都有很大的影响。作为Hadoop分布式系统的核心软件，HDFS负责部署在物理环境下文件的保存、获取、组织以及共享等工作。随着集群规模的急剧增长，以及在新型互联网产业的广泛应用，分布式文件系统的高可用需求日益迫切。而其中元数据服务对于HDFS的整体服务有着十分关键的作用，其效率和容错性直接关系到文件的访问性能和可用性，因此研究元数据的高可用技术具有重要意义。
在分布式文件系统中，过去对元数据服务的可用性保证大都采用日志技术，而日志技术仅提供系统的离线备份功能，并不能很好地为元数据服务提供有力保障。本文重点研究了元数据管理的高可用性问题，提出了一种基于复制的主从服务器的系统体系结构，该结构应用在Hadoop系统中可缩短失效恢复时间3个数量级，保证快速的故障恢复和异常处理能力，同时最大限度地利用冗余数据提供元数据的读服务。
本文的主要研究内容和贡献有：
1．为实现元数据高可用性，提出一种数据一致性可适的主从式高可用体系结构。该结构主要保证元数据副本一致性，针对不同的数据一致性同步需求，将元数据分类采用一致性模型来实现数据同步，以减少数据同步的系统开销；同时将基于预检查的2PC算法应用在元数据处理流程中，保障在有故障发生情况下的元数据一致性。
2．针对系统性能优化问题，提出了基于元数据操作间影响关系的操作共享锁技术，来改进传统目录树级别的粗粒度同步锁机制，以提高元数据的并行操作粒度到目录级别；改进并优化2PC算法应用流程，将元数据操作的网络操作次数从至少4次减少到1次，由此进一步减少复制技术带来的网络传输开销。
3．将高可用结构应用在Hadoop的元数据管理节点中，实现了Hadoop的文件系统元数据的主从服务架构GeminiNameNode。系统除提供元数据读写服务外，还提供主从负载均衡管理、元数据副本同步等对客户端操作透明的功能；针对实际物理环境中可能出现的系统故障，构建主从故障恢复技术、网络脑裂第三方认证技术以及客户端异常处理流程，来保证上层应用的可靠性和健壮性。
测试表明，在集群规模为40台机器的环境下，通过我们的元数据高可用机制，可以使元数据服务在节点失效的情况下系统恢复时间从150秒减小到1秒左右，从而实现可用性级别达到5个9的连续服务能力。同时，相比相关工作，元数据写操作的性能吞吐率从30％提升到60%；并且在读写混合比例为20:1的基准测试集下面，元数据吞吐率提升为原系统的170%。