论文部分内容阅读
随着互联网技术的蓬勃发展，新型的高通量应用已经成为主流。另外，由于功耗、连线延迟、资源利用率等因素的影响，多核/众核处理器已经被广泛接受，多核处理器的应用也越来越普遍。但是，在共享存储多核处理器上并行处理高通量应用时，其性能却严重收到了内存管理的限制。而且，针对共享存储多核平台上的并行应用，动态内存管理领域的研究主要集中于设计和实现高效的并行内存分配器，而并行内存分配器本身却受到并行度的限制，在并行度比较大的情况下无法实现高效的内存管理。 所以，为了有效降低内存管理对高通量计算性能的影响，避开内存分配器的限制，从高通量应用本身出发，针对高通量应用的特点，研究降低这类应用内存管理开销的优化方法。论文研究内容包括以下四个方面: 一种降低存储需求的功能流水机制。本研究在深入分析高通量应用特点的基础上，提出一种可以降低存储需求的功能流水机制。此机制利用高通量计算的特点，采用围绕数据调度代码的策略，巧妙地避免了中间数据结果的积累，消除了系统对大块内存的需求，并且此机制在不同活跃数据块之间创造了内存复用的机会，进一步降低了存储开销。 基于排队论和线性规划的存储频次优化方法。本研究首先基于排队论设计一种能预测高通量计算存储需求的方法;并在此方法的基础上，利用线性规划给出一种集中处理存储需求的策略，此策略可以减少绝大部分的内存申请和释放操作，能大幅度地提升内存管理效率。 优化MapReduce类应用。基于MapReduce的并行应用，是典型的数据处理类高通量应用。论文基于功能流水机制和存储频次优化方法对MapReduce类应用进行优化，减少了90％以上的存储开销，性能平均提升2.9倍。 优化无线通信协议。无线通信协议的数据处理是典型的实时处理类高通量应用。论文基于功能流水机制和存储频次优化方法对无线通信协议处理进行优化，把系统存储开销控制在了很小的范围内，提高了700多用户。