论文部分内容阅读
深度学习(deep learning)自2006年出现以来,在互联网大数据和具备超强运算力的CPU、GPU的推动下,对图像识别、语音识别、自然语言处理等人工智能领域带来了突破性的进展,同时也引发了人们对神经网络研究的第三次浪潮。虽然深度学习在诸多领域应用效果优良,但是其巨大的计算复杂度以及模型内存占用量严重阻碍了人工智能的普适性以及灵活性,以至于如今许多依靠深度学习的应用服务不得不依赖云计算,同时也带来了大量的功耗。因此,本文针对深度学习图像识别模型做了一系列优化及应用研究,主要通过引入脉冲神经网络来实现,因为脉冲神经网络生物性更强,具有运算速度快以及功耗低、延迟低的优点,在此基础上能够大大降低深度学习图像识别模型的计算量以及模型内存占用量,从而使得其能够直接应用在诸多嵌入式设备上,在未来的智能设备,机器人等领域有广阔前景。深度学习主要通过深度神经网络来实现,鉴于神经网络是由若干神经元构成,因此,本文首先分析了几类脉冲神经元的动力学特性,为后续研究奠定基础。其次对于深度学习的一般训练算法提出基于梯度和动量等超参数的调节方法。然后将基于浮点数运算传递信息的深度信念网络修改为基于脉冲的形式传递信息,并对其加以内部可塑性(intrinsic plasticity,IP)机制强化,经过经典的手写数字识别实验来考证此种优化的可行性和有效性。最后对卷积神经网络做出改进,采用最大特征图(max-feature-map,MFM)神经元替换线性修正神经元(rectified linear units,Re LU),在网络结构中加入NIN(network in network)结构优化,实现了人脸识别应用,并且移植到嵌入式设备树莓派。通过手写数字实验表明将脉冲神经网络引入深度信念网络优化之后,识别单张手写数字灰度图像平均花费约5.8ms,加入IP机制之后网络模型更加稳定,识别单张手写数字灰度图像平均时间约为2.5ms,并且具备自适应调节神经元内部放电率功能,与不引入脉冲神经网络时大约需要32ms的时间消耗相比,优势明显。通过人脸识别项目表明,在得到98.13%的识别准确率下,单张图片识别消耗时间降低为67ms,模型大小从260MB降低为28MB,并且移植到嵌入式设备树莓派上工作稳定,从而提高了人脸识别应用的灵活性。