基于稀疏预测层的深度神经网络加速方法

• 作 者: 姚中天
• 出 处: 浙江大学
• 发表日期: 2004年期
• 关键词: 深度学习 神经网络加速 网络剪枝 高性能计算

随着GPU等高性能硬件和大容量存储器的发展,过去几十年来积累的理论成果被成功释放了出来,算力的提升意味着运行规模庞大的模型成为了可能,而存储技术的发展则让基于海量数据训练模型更加容易,以深度学习为代表的人工智能开始飞速发展。如今深度学习已经开始在很多产业领域落地,智慧城市、智慧零售、智慧医疗等将彻底改变了人们生产生活的方式。为了提升模型的性能,基于卷积神经网络的深度神经网络变得越来越深、越来越大,随之而来的是更大的参数量和更多的运算量。将计算放在云端固然可以一定程度上解决运算量过大的问题,然而在一些对时延比较敏感的场景中,计算需要放在终端完成,而计算资源有限的终端设备难以承担深度神经网络极大的计算开销。为了加速现有的深度神经网络,减少设备的计算开销,本文从以下四个方面开展了研究工作:1)同时考虑神经网络的每层权重和输出中的冗余,提出了假设:裁剪后的稀疏权重仍然保留卷积层输出中某些重要元素的位置信息,如果假设成立,输出中的冗余计算可以被跳过;2)基于这个假设,提出了稀疏预测层,这种方法通过跳过一些不重要的元素的精确计算来减少深度神经网络推理时的运算量,这些不重要的元素包括最大池化核中的非最大值和Re LU层前的非正值,它们的索引则是由稀疏权重预测得到的,这个方法可以避免冗长的重训练过程;3)提出了基于贪心策略的参数搜索方法,按照特定层顺序在网络中逐层搜索合格的稀疏度,完成网络模型加速程度和准确率之间的权衡;4)对于非结构化稀疏的输出,提出了基于稀疏结果矩阵乘法的稀疏结果卷积运算,展示了一种针对非结构化稀疏的输出的工程优化思路。在数据集ILSVRC-2012上进行的实验表明,稀疏预测层可以分别在AlexNet、VGG-16和ResNet-50上减少68.3%、58.6%和59.5%的浮点运算量,而精度损失小于1%且无需重训练。此外,稀疏预测层还可以在已经剪枝过的模型上起作用,一些被传统剪枝方法裁剪过的网络模型可以通过我们的方法进一步减少一半以上的浮点运算量。在稀疏结果矩阵的实验中,实验结果验证了这种工程优化思路的可行性。