论文部分内容阅读
随着互联网用户和数据的急剧增加,高通量计算(High Volume ThrougthputComputing)的需求越来越大,对高通量计算方面的研究也越来越多。高通量计算方面的研究需要海量真实的用户数据和负载来模拟真实的应用场景,而海量真实的用户数据和负载都被大公司所掌握,出于用户数据安全和商业机密的考虑,研究社区无法获取这些数据进行研究。
为此我们开发了科研人搜索系统来提供真实的用户数据和负载,并在科研人搜索的基础之上开发了高通量测试床来提供一个统一的测试平台。通过这个平台,我们为高通量计算体系结构方面的研究提供了大数据、真实的负载和多种硬件的支持。高通量测试床的最终目的是为研究社区提供真实的大数据、应用和访问负载。
本文的主要研究内容和贡献包括:
1.实现了一个分布式负载发生器,在高通量测试床上重放科研人搜索提供的负载。分布式负载发生器采用主从架构,通过主控节点分配和回收从节点资源,从节点在主节点的控制下生成测试床用户需要的负载强度。通过实验验证了分布式负载发生器的可扩展性。
2.设计并实现了高通量测试床系统。高通量测试床使用科研人搜索系统提供的应用、数据和负载,通过负载重放来进行测试,用于高通量计算体系结构方面的研究。测试床采用组件替换的方式为用户建立测试实例,支持多用户在线测试,通过虚拟IP段的方式来隔离不同实验实例,整个测试过程在用户和管理员的共同参与下完成。通过高通量测试床解决目前的测试床无法提供真实用户数据和负载的问题。
3.在高通量测试床上进行了两种类型的实验:默认实验和用户上传程序实验,实验过程说明了高通量测试床的可行性。通过分析实验收集的应用层和操作系统层性能数据比较了Atom和Xeon两种架构、MySQL和Hbase两种存储在性能上的差异。