基于云计算的分布式存储系统的研究和应用

• 作 者: 刘飞
• 发表日期: 2012年01期
• 关键词: Hadoop HDFS 云存储 Hadoop优化 NameNode单点故障

互联网基础建设和普及的时代已经过去,它提供的服务也越来越丰富。移动互联、三网合一使得网络的涵盖范围更加的广泛,因此互联网正面临着一场新的变革,云计算的产生使得一个平台多种应用成为可能。同时随着网络带宽等网络技术的发展,通过网络访问非本地的计算服务(包括数据处理、存储和信息服务等)的条件越来越成熟,更加促进了云计算技术的发展。因此,本课题的研究不仅紧跟互联网技术的发展,也具有很高的应用价值。本文研究的主要内容是基于云计算的分布式存储技术,即云存储技术。旨在通过构建基于HDFS的云存储服务系统来解决海量数据的存储难题,降低实施分布式存储系统的成本,促进Hadoop技术的发展和推广。Hadoop是一个分布式基础架构下相关子项目的集合,包括Hive、HBase、Pig、Chukwa等。它们为Hadoop提供配套和补充性服务, Hadoop最核心的框架设计是HDFS和MapReduce。Hadoop分布式文件系统HDFS (Hadoop Distributed File System)被设计成适合运行在普通硬件上的文件系统,它为Hadoop分布式计算存储提供底层支持。本文主要实现了一个面向应用的云存储服务系统,同时实现了一种解决当前Hadoop集群NameNode节点存在的单点故障问题的方案,当NameNode宕机时集群可以自动切换主节点,保证集群无重启正常运行。该系统解决了大规模非结构化数据的在线存储、查询和备份等问题。尽管对Hadoop平台下的云存储服务有了更全面细致深入的研究,但对于如何保障Hadoop平台中数据的安全和隐私、Hadoop平台运行优化和对平台中大数据文件进行高效的编程处理仍是今后研究的重点,也是亟待解决的难题。