论文部分内容阅读
随着各类移动终端的普及，对高带宽业务的需求也日趋明显，对互联网的数据传输能力也提出了更高的要求。提高网络传输效率的方法很多，但如何适当的降低文件的冗余度，提高文件的利用率，加快访问网络资源的速度然是一个开放性话题。hadoop是一个实现了谷歌云计算系统的开源系统，在分布式存储领域应用广泛。本论文的研究内容主要是基于hadoop系统，提出了一种新的低成本高效内容存储算法，工作内容主要包括以下几方面: 1.分析现阶段的网络存储技术包括网络文件系统、内容分发网络及对等网络等，并指出这些技术的优缺点; 2.研究hadoop文件系统特点和工作原理，提出了一种低成本、高效的分布式存储算法; 3.将本文提出的分布式存储算法与普通CDN-P2P存储方案进行成本比较，并进行时间复杂度和可用性分析; 4.利用map/reduce处理流程，任务调度机制对算法进行优化，进行仿真实验，与没有经过优化的算法进行性能对比。 基本论文的创新点在于提出了一种低成本、高效的分布式存储算法，根据文件访问和更新频率合理的实现文件存储分布，并基于map/reduce软件框架对算法进行了优化。该算法适当的降低了文件冗余度，有效的降低了存储网络的传输和存储成本。