论文部分内容阅读
随着人工智能的快速发展,深度神经网络模型的应用场景日趋复杂,而相应网络规模快速扩大。如何利用有限的计算资源实现一个更加复杂的神经网络模型,或者如何在同等计算资源开销下实现更大的数据处理吞吐量,成为深度神经网络模型研究中日益重要且具有深远意义的课题。当前研究中关于自然语言处理领域占据主导地位的循环神经网络模型的量化研究较为匮乏。而众多循环神经网络模型变形中,LSTM(Long Short-Term Memory,长短期记忆)模型具有最为广泛的应用。故本文以LSTM模型中非常具有代表性的Bi-LSTM-CRF(CRF,Conditional Random Field,以条件随机场为后端分类器的双向长短期记忆网络)模型为基准,采用一阶残差量化和Gumbel Softmax的方法对基准模型进行量化实验。并提出全新的利用权值参数学习抵消门控参数量化误差的量化方法。其中本文第2章比较并分析了5种循环神经网络模型,并选取其中性能表现最佳的Bi-LSTM-CRF模型作为后续章节实验的基准模型。第3章中完成了将卷积神经网络中一阶残差量化方法推广至对LSTM权值等参数进行二值量化的模型设计与实验,实验证明这一方法可以有效降低LSTM权值等参数量化带来的性能损失。第4章中,本文实验表明Gumbel Softmax方法存在应用局限性,在此基础上,本文实验应用新提出的量化方法,即在反复迭代中对门控参数进行有损量化,并利用量化后的结果调整权值参数优化过程中反向传播的梯度,进而由权值参数学习抵消门控参数量化误差所造成的影响。在实体识别数据集上,采用新门控参数量化方法后,F1得分相比于基准模型仅下降0.7%。而在结合权值参数量化和门控参数量化方法后,同数据集实验中,F1得分相比基准模型仅仅下降0.3%。本文实验结果在算法层面证明了上述量化方法的有效性,而本文量化方法均为面向硬件设计而选取。在权值量化中,权值矩阵中的每个元素均量化为±1,因而在硬件设计中可以用1 bit表示,权值参数存储开销下降96.87%。而门控参数量化中,本文选取在硬件设计中可以高效实现的“0,0.5,1”量化方案。在上述量化之后,LSTM模型中大量乘法计算可以转变为加法运算及移位运算。因此本文研究的结果在后续研究中可以拓展到高效能神经网络模型硬件设计中。