基于Hadoop的云存储系统客户端的设计与实现

• 作 者: 杨坤
• 发表日期: 2011年期
• 关键词: 云计算 云存储 作业调度 云存储系统客户端

云计算平台hadoop是对Google的GFS以及MapReduce的开源实现,虽然目前hadoop主要还是集中于对海量数据进行计算处理的技术层面,但是不能忽视的是hadoop在设计和实现的过程中,也包含了对数据存储的强大能力的体现,这主要体现在hadoop平台中,所采用的分布式文件系统HDFS,这个基于网络的分布式文件系统,能够很有效的存储大量的数据,实现将用户的文件数据通过网络进行分布式存储。首先分析了hadoop系统平台在读写文件数据的处理方式和实现的机制,包括对HDFS在文件读取和写入两个方面的分析,并且对这个设计思路的不足也进行了分析,这些分析将有助于实现基于hadoop的云存储服务系统,其次在对hadoop系统的作业调度算法研究的基础之上,提出并实现了一种新的作业调度算法—基于反馈的作业调度算法,这种算法的主要思想是当前的作业调度决策,会影响到下一次的作业调度决策,通过不断的学习以前决策的经验和教训,不断的修改集群系统的参数的配置,最终达到一个比较稳定的作业处理的性能。最后,在前面工作的基础之上,主要实现的是基于Hadoop的云存储系统在用户的客户端方面的管理,通过这个平台用户可以管理自己的存储空间和文件,并且将本地文件上传到集群服务器中进行存储,而用户的文件数据存储到磁盘中之前,都必须经过分布式文件系统HDFS的处理,实现将数据文件分散的存储在网络中的各个数据节点之中。