可压缩NS方程求解软件性能优化与并行技术研究

• 作 者: 董仕
• 出 处: 国防科技大学
• 发表日期: 2004年期
• 关键词: C/Fortran混合编程 intrinsic向量化 SPMD编程 CPU+MIC异构移植

计算流体力学(computational fluid dynamics,简称CFD)作为一门综合流体力学、数学、计算机科学的重要学科,在航空、汽车、呼吸和血液流动、化学工程等流体工程领域的应用越来越广泛。随着计算精度的提高和计算规模的不断扩大,CFD应用的计算量也急剧增大,在现代高性能计算机上对CFD应用进行性能优化并实现大规模并行计算已经成为了一项新的重要课题。CNS(Compressible Navier-Stokes)是用于求解在流体力学中有着重要地位的可压缩NS方程的CFD应用软件,在航空航天空气动力学数值模拟领域具有良好的应用背景,在实际应用中需要进行性能优化才能更好地发挥作用。本文基于高性能多核及众核平台,实现了对CNS程序的性能优化以及相关并行技术的研究。工作主要分为三个部分:(1)在通用CPU平台上,对CNS程序进行串行计算性能优化。针对程序访存密集、cache命中率不高、热点子程序无法实现编译器自动向量化,从编译选项、访存、数值计算等方面进行优化,在Ivy bridge处理器上性能提升了1.49倍;Fortran90之后的标准不支持向量化,因此先对热点子程序进行C语言改写,在尽可能减少额外开销的前提下,完成intrinsic向量化编程,在Ivy bridge处理器上进行测试,热点子程序加速比都为1.43,程序整体性能提升了10%。(2)为了更好的发挥多核处理器计算性能,在一个包含2个12核CPU的计算节点上使用Open MP编程模型实现CNS程序的节点内多线程并行。CNS程序热点循环较为分散,首先迭代地进行循环级并行,然后为减少创建并行区的开销,将并行区的范围扩展为整个rk4子程序,并行执行时间占比由62.5%增加为84.4%;针对NUMA架构中处理器核对本地内存访问更快的特点,使用系统函数实现线程与处理器核的绑定,使用SPMD编程方式实现线程与数据块的绑定。两级绑定过后,24线程时并行加速比由原本的5.6增加到了6.5。(3)为利用MIC协处理器的加速性能,在一个由2个CPU和2个MIC卡组成的计算节点上实现了CNS程序的CPU/MIC异构移植,在加速效果不理想的情况下从数据传输、负载均衡等方面进行了优化,相比优化前性能提升了3.6倍。