论文部分内容阅读
Peer-to-Peer(P2P)成功地使网络资源从集中式走向分布式,使个人用户和终端真正参与到网络应用和计算中来,实现了自由的互联环境。与此同时,伴随着大数据时代的到来和用户生成内容UGC的涌现,网络数据出现了爆炸性增长。云计算和数据中心的发展有效地解决了大数据时代海量信息存储与处理问题。然而,随之而来的是另外一个亟待解决的问题：数据处理中心能源与电力消耗急速增长。一类解决方法是部署能耗更低的硬件和／或软件,但是这将会严重限制运营商的服务范围与扩展性。另一类方法是将某些服务放置在对等节点peer上,对等节点将它们的通信、存储和计算资源贡献出来用于交换数据和提供服务,数据中心则执行集中式管理与鉴权。Wuala和Valancius的成功部署论证了基于Peer-to-Peer Cloud(P2P-Cloud)的云架构在缓和计算与通信需求的同时,能够有效减小电力消耗,并且能效是基于C/S架构的5倍多。其对于运营成本,系统灵活性,以及扩展性的需求也是基于P2P-Cloud的云平台可以充分满足的。因此,P2P-Cloud越来越成为数据中心构建和发展的趋势。在P2P-Cloud中不仅需要解决P2P应用中已有的老问题,结合云架构系统内部对海量数据处理的新需求,还需要针对Cloud端数据中心性能优化与作业调度进行全新设计。P2P路由拓扑发现,往往首先通过获得网络中其它参数,例如时延相关性,然后以此为依据进行拓扑推测与还原。因此,时延相关性探测本身的准确性与部署代价将直接影响到拓扑层析的准确性与实用性。为解决传统基于RTT双程时延测量方法需要节点协作和基于OTT单程时延测量方法需要精准时钟同步的问题,本文首先研究并提出了既不需要复杂节点协作,也能够避免时钟同步的启发式DCE时延相关性测量方法,该方法极大地降低了层析部署难度并提高了探测精度。其次,为解决P2P-Cloud搅动churn带来的一系列问题,例如节点动态加入时如何找到最优传输路径,本文研究了路由拓扑结构层析相关内容,提出了一种在P2P-Cloud网络中基于DCE时延相关性测量的被动式网络拓扑层析方法。最后,针对Cloud端数据中心作业调度设计与优化,结合OpenFlow的网络与带宽控制能力,本文提出了一种基于SDN带宽感知的任务调度机制Bandwidth-Aware Scheduling with SDN inHadoop-BASS o BASS是目前为止最早探索将SDN自身优势与Hadoop云系统结合的方法。并且,通过将BASS部署在真实Hadoop集群中,本文有效论证了该调度机制的高效性。