论文部分内容阅读
超并行体系结构HPP是中国科学院计算技术研究所提出的一种同时面向千万亿次高性能计算和效用计算的高性能计算机体系结构。支持节点内统一地址空间和单一操作系统映像的超节点是构成HPP系统的基本单元。超节点间通过高速网络互连，超节点内则通过HPP系统控制器互连。超节点中HPP系统控制器通过I/O总线连接节点内的各计算单元，接入节点间高速互连网络，各计算单元通过HPP系统控制器对高速互连网络的接入进行共享。HPP系统控制器的性能直接影响超节点及HPP系统的性能，而HPP系统控制器的性能依赖其I/O结构与性能，如何设计一个高性能的I/O共享结构成为HPP系统控制器设计中需要首先解决的问题。本文对HPP体系结构的特征进行了介绍，阐述了HPP体系结构中系统控制器I/O共享的特点。通过对I/O设备发现与I/O设备共享相关研究的深入分析，总结出已有方法的优势和劣势，进而提出了构建HPP系统控制器I/O共享结构的关键技术。主要研究内容及结果如下：
⑴通过对I/O设备发现与I/O设备共享的研究，提出了构建HPP系统控制器I/O共享结构的I/O关键技术，包括：I/O总线控制器、枚举过滤管理、虚拟设备机制等。
⑵以超龙一号通用平台HPP系统控制器课题为背景，设计了一个主从共享的HPP系统控制器I/O共享结构。该I/O共享结构以Hypertransport(HT)总线连接龙芯3处理器，以PCI Express(PCIe)总线连接x86处理器和InfiniBand(IB)网络接入设备(IB HostChannel Adapter，IB-HCA)，实现一个x86处理器和四个龙芯3处理器对IB-HCA的主从共享。其中x86处理器负责IB-HCA设备的枚举发现、资源管理及负载均衡，在x86处理器的控制下四个龙芯可以同时对IB-HCA设备进行直接访问。
⑶实现了HPP系统控制器I/O共享结构中的PCIe通道控制器与虚拟设备机制。并分别在仿真平台和数据通路平台中对PCIe控制器和龙芯共享IB-HCA数据通路进行了验证和性能测试。仿真平台中的性能测试表明，PCIe控制器本身能提供较好的通信延迟与带宽。数据通路平台中的性能测试与分析表明，相对于单个龙芯独占链路，共享结构中多个龙芯共享链路时PCIe链路可以得到更充分的利用。