论文部分内容阅读
卷积神经网络已经是公认最好的用于深度学习的算法,被广泛地应用于图像识别,对象检测等领域。神经网络结构规模逐渐增大,具有大量神经元和突触,导致CNN是计算密集型的,其计算成本难以接受。神经网络经常使用GPU平台进行训练。但是需要做推导的时候,使用GPU是一种成本很高,计算效率很低的做法。特别是对于一些嵌入式设备来说,使用专用加速硬件挖掘神经网络的并行性已经成为热门的选择。在硬件设计中,经典的平铺数据流结构获得了很高的性能,但是平铺数据流结构的单元利用率很低。目前,随着众多深度学习应用对硬件性能要求的逐渐提高,加速器对单元利用率的要求也越来越严格。本论文围绕提高卷积运算的性能为核心展开研究,以嵌入式设备对卷积神经网络的推导作为应用场景,以平铺数据流为基础,设计了在小规模网络结构和大规模网络结构下的两种卷积神经网络加速器。为了在平铺数据流结构上获得更高的单元利用率,本文在小阵列的情况下提出单通道数据流加速器。一般而言,卷积运算可以拆分成六层循环,包括输入通道、输出通道和输入特征图的行与列以及卷积图的行与列。平铺数据流展开了输入通道和输出通道,但是由于输入图像一般只有三个通道(RGB),循环展开过多的输入通道会造成单元的浪费。单通道数据流通过调换并行的顺序,循环展开输入特征图的行和列与输出通道。通过增大运行单元的利用率,来提高硬件的整体性能。通过这种方式,可以在不增大硬件开销的情况下,实现1.2x-7x的性能提升。但是随着神经网络运算对硬件性能要求的提高,运算单元阵列必然会越来越大。当阵列大小增加到一定程度,相对单一的并行方式会使利用率逐渐下降。这就需要展开更多的循环层次。为了解决大阵列条件下,硬件单元利用率偏低的问题,本文提出了并行度可配置的卷积神经网络加速器。结合单通道数据流加速器和平铺数据流加速器的并行特点,展开输入通道,输出通道和二维卷积图的行与列这四层循环。但是展开更多的循环需要耗费大量的硬件资源并且极大的增加数据调度的难度。为了减少硬件复杂度,在保证大阵列下单元高利用率的基础上,本文只做部分配置,选择性地展开输入通道。最终,使用并行度可配置卷积神经网络加速器来计算主流的神经网络,在阵列大小超过512之后,硬件单元利用率平均可以维持在82%-90%。同时加速器性能与单元阵列数量基本成线性比例提升。