低数据位宽稀疏卷积神经网络加速器研究与设计

• 作 者: 郭建辛
• 出 处: 清华大学
• 发表日期: 2004年期
• 关键词: 卷积神经网络 FPGA 加速器 低数据位宽CNN 稀疏CNN

近年来,卷积神经网络(Convolutional Neural Networks,CNN)在许多计算机视觉领域都得到了广泛应用。但是目前卷积神经网络的结构越来越复杂,这大大增加了硬件单元的计算难度,阻碍了网络计算性能的进一步提高。因此,近年来有许多的研究者聚焦于神经网络的加速研究。由于FPGA具有可重构性、快速的响应时间、能更好的切合高层次综合(HLS)工具等诸多优点,有许多研究者提出了基于FPGA的CNN加速器设计方法,来提升卷积神经网络的计算性能。近年来许多研究者提出了低数据位宽卷积神经网络的实现方法,结果表明卷积神经网络的位宽能低于32-bit,且每层的位宽需求不同。同时也有相当多的研究者提出了稀疏卷积神经网络的实现方法,而稀疏卷积神经网络中存在许多无效的0值,消除这些无效0值有可能实现网络计算性能的提高。然而目前大部分基于FPGA的CNN加速器设计仅仅使用一个单一位宽的卷积计算单元(Convolutional Processor,CP),来重复计算卷积神经网络中的所有层,并且没有考虑稀疏卷积神经网络的稀疏化特性。这样的传统方法导致FPGA片上的资源利用率非常低,使得卷积神经网络很难有更进一步的性能提升。为了解决这些问题,本文提出了低数据位宽稀疏卷积神经网络加速器的方案设计。我们针对卷积神经网络的低位宽数据进行了DSP计算操作的优化,提高了DSP的计算利用率。我们接着提出了针对低数据位宽卷积神经网络的多卷积计算处理单元的结构(Multi-CPs),使得每一个卷积计算处理单元(CP)有不同位宽,让他们对不同位宽的卷积层进行流水计算。在低数据位宽卷积神经网络加速器设计基础上,我们接着提出了针对稀疏卷积神经网络的加速器优化设计方案,能将稀疏卷积神经网络中的无效0值去除,进一步提高加速器性能。最后,我们提出了硬件资源分配的优化方法,以得到最佳的加速器设计方案,并为每个计算处理单元(CP)分配了最佳的DSP资源,通过对低数据位宽与稀疏化特点的设计结合,我们得到了最后的加速器整体设计方案。我们的方法特别能提高那些具有复杂结构的神经网络的计算性能。在Xilinx型号为Virtex-7 485T的FPGA上我们对典型的CNN网络AlexNet与VGG网络进行了综合测试,我们的方法相比传统的方法具有5.68倍到6.67倍的性能提升,平均性能提升倍数达到6.17倍,本方法设计具有非常高的研究价值和应用价值。