论文部分内容阅读
卷积神经网络(Convolutional Neural Network,CNN)可以学习图像隐性特征,具有强大的自学习能力,在图像识别领域取得了优异的成绩,而深度卷积神经网络的发展为图像识别领域带来了深刻的变革,它可以提取到更深度的人们无法理解的特征而进一步提高了图像识别的准确率。然而随着网络层数的加深,网络的训练也随之遇到很多问题。首先是目前仍然没有完善的数学理论指导模型结构的设计,其次是在网络训练过程中采用的优化算法存在缺陷,两者直接关系到网络模型的训练速度和模型在测试集上的准确率。本文将针对深度卷积神经网络的模型和反向传播优化算法进行研究,建立一个简单高效的深度卷积神经网络模型。本文首先在VGGNet网络模型基础上,用全卷积取代了原网络后三层的全连接,同时增加了一个卷积层并适当调整了网络参数,设计了改进的全卷积神经网络FC-VGGNet-plus(Fully Convolutional VGGNet plus)模型架构,加快了网络的训练速度,在CIFAR-10数据集上每次迭代时间平均缩短了0.13秒,同时在测试集上的准确率也有一定提升,在同样的设备条件和迭代次数下准确率从82.33%提升至83.45%。随机梯度下降算法是反向传播中应用非常广泛的最优化算法,其思想简单,运算速度较快,但在深度卷积神经网络参数训练中应用时存在固有的缺陷,针对反向传播中随机梯度下降算法存在的局部最优问题以及容易出现的梯度弥散现象,本文研究了群优化算法中的粒子群优化算法(Particle Swarm Optimization,PSO),并将其修正的算法应用到卷积神经网络的参数训练中,提出了基于变权重粒子群算法的卷积神经网络优化算法PSO-CNN。首先利用粒子群算法训练网络参数,达到一定的准确率之后再利用随机梯度下降算法进一步优化,解决了反向传播优化算法存在的局部最优问题,同时因粒子群优化算法的快速迭代大大缩短了网络训练时间,在MNIST和CIFAR-10数据集上训练基本是在十次迭代后准确率就达到30%左右,而在不使用粒子群算法的条件下达到相同的准确率往往需要几百次以上迭代。并且粒子群优化算法初始化的网络的收敛过程更加平滑,参数值的波动减小。之后本文将PSO-CNN应用到本文设计的FC-VGGNet-plus网络模型训练中,进一步优化了本文设计的改进全卷积网络,使该模型具有了更快的训练速度和良好的收敛性,通过实验验证了粒子群算法在大规模深度卷积神经网络上的有效性,同时也验证了本文设计的FC-VGGNet-plus网络在采用不同优化算法时的稳定性。最后基于本文训练完成的网络新模型设计了图像识别系统,并在该系统上进行了图像识别测试,取得了良好的效果。