论文部分内容阅读
深度神经网络(Deep Neural Network，DNN)模拟哺乳动物大脑感知信号的多层结构，建立多个隐含层，层层提取输入信号的不同特征，并在输出层形成神经网络对输入信号的认知。深度信念网(Deep Belief Network，DBN)受人脑认知和推理过程的启发而被提出，是DNN最主要的实现方式之一。DBN较好的模拟人脑感知信息和处理信息的深层结构，在训练中将特征提取过程和认知过程结合，实现对大量数据快速有效学习，在图像识别、声音辨识、自然语义理解及多个回归和预测任务中得到关注和研究。 深度信念网在理论和学习算法方面仍存在许多难以解决的难题，如果网络规模设置不当，或者当网络训练过度，隐含层难以实现对输入数据特征的有效提取，使得训练容易出现过拟合，另外，由于传统网络使用离散型传递函数，难以实现对连续型数据的建模和预测，并且隐含层神经元间的协同作用易导致精度差、耗时大等问题。针对这些问题，文中首先对深度信念网的无监督学习进行分析和改进，提出连续型深度信念网，并改进训练阶段传递函数，最后提出无监督训练的隐含层神经元结构自组织深度信念网，提高了网络无监督学习的特征提取能力。将其应用于图像处理，污水水质分类，大气数据预测实验中，验证了算法的有效性。 论文主要工作如下: 1)无监督特征学习分析 针对DBN网络隐含层层数难以选择问题，首先从数学角度和生物学角度分析了随机初始化的梯度下降算法导致网络训练失败的原因，并通过实验进行验证。证明了RBM重构误差与网络能量的正相关定理，同时根据隐含层和误差的关系，提出一种基于重构误差的判断方法，用于确定网络深度，在训练过程中自组织的训练网络，使其能够以一种接近人类处理问题的方式解决人工智能问题。手写数字识别的实验表明，该方法能够有效提高运算效率，降低运算成本。 2)连续型深度信念网的设计 针对一般深度信念网学习连续数据时预测精度较差的问题，提出一种双隐层连续型深度信念网。该连续型深度信念网首先对输入数据进行无监督训练，提出无监督训练的连续型传递函数，将网络可视层和隐含层神经元数值范围扩大，使得网络利用连续型传递函数实现数据特征提取，设计基于对比散度算法的隐层权值训练方法，并通过误差反向传播对隐层权值进行局部寻优。同时，给出了稳定性分析，证明了网络稳定性定理，得到稳定条件，保证训练输出结果稳定在规定区域。最后，利用Lorenz混沌序列、CATS序列实验对连续型深度信念网进行测试，实验结果表明，连续型深度信念网具有结构精简，收敛速度快，预测精度高等优点，能够实现对连续型数据的预测和建模。 3)正则化强化深度信念网的设计 传统深度信念网中，如果训练参数或规模设置不当，网络不能有效提取图像特征，使得训练得到的网络对未知数据的反应不灵敏，导致误差较大，过拟合现象严重。文中提出一种正则化强化的深度神经网络，在传递函数中引入正则化强化项，使得网络在训练过程中智能分析连接权值的变化趋势，降低次要权值在训练过程中的作用，调节训练过程中训练误差减小与权值增大之间的平衡，保证网络中稀疏连接特性，抑制过拟合现象的发生，提高网络泛化能力，增加对数字图像的识别准确度。通过MNIST手写图像对所提网络进行验证，实验结果表明该网络的次要权值在训练中被自动减少，使得图像特征提取能力得到改善，且具有运算速度快，精度高的优点。 4)无监督学习的结构自组织算法设计 一般连续型深度信念网络由于隐含层神经元间存在协同作用，容易对训练组样本的模式进行过于精确的训练，将训练组每个样本看成独立的个体，忽略了样本作为整体一部分所具有的相互关系，以至于将其中的误差信息和错误特征也一并学习。文中提出一种无监督训练过程的结构白组织型深度信念网，提高无监督学习特征提取能力和连续型数据预测精度。设计神经网络无监督训练的Dropout结构自组织机制，降低特征检测器协同作用，提高网络特征提取能力和泛化能力，设计基于对比散度的快速训练方法，并使用误差反传局部寻优，保证网络稳定。将该自组织型连续深度信念网应用于图像特征提取实验和大气CO2序列预测实验，结果表明所提网络的隐含层神经元间的协同作用得到有效抑制，并且具有泛化能力强，收敛速度快的优点。