论文部分内容阅读
人工神经网络模拟大脑神经系统，能够解决一些传统方法难以解决的问题，梯度类算法广泛应用于优化人工神经网络权值。然而传统的梯度类学习算法面临收敛速度慢、易陷入局部极小点以及对学习率敏感等问题。最近出现的随机权神经网络，由于其较快的学习速度及满意的泛化能力，引起了广泛关注，已成功应用于许多领域。 与权值可调神经网络相比，随机权神经网络往往需要较大的网络结构以获得良好的网络性能，而过大的网络结构则会降低网络的泛化能力并增加计算量。因此，如何自组织设计与问题复杂度相匹配的网络结构，是随机权神经网络研究领域尚待解决的重要问题之一。本文研究随机权神经网络结构与性能的内在联系，针对不同网络结构提出相应的随机权神经网络结构自组织设计方法，并提出相应的增量式输出权值计算方法。论文的主要研究工作和创新点如下: 1.增长型随机权单隐含层前馈神经网络结构设计 针对随机权单隐含层前馈神经网络结构设计问题，基于隐含层激活函数及其导函数提出一种随机权单隐含层前馈神经网络结构增长算法。首先以Sigmoid函数为例给出了一类基函数的表示特性:导函数可以由其原函数表示。其次，利用这种表示特性提出了结构增长方法，该方法自动生成四层前馈神经网络，包括输入层、隐含层、衍生层及输出层。隐含层的节点逐一随机生成，衍生层的输出由隐含层新添节点的激活函数及其导函数确定。输出层权值由最小二乘法分析获得。最后给出了所提算法收敛性及稳定性的理论证明。对非线性系统辨识及双螺旋分类问题的仿真结果证明了所提算法的有效性。 2.修剪型随机权单隐含层前馈神经网络结构设计 针对随机权单隐含层前馈神经网络结构过大问题，本文提出一种基于灵敏度分析法的随机权单隐含层前馈神经网络结构修剪算法。该算法基于隐含层节点加权输出，定义学习残差对于隐含层节点的灵敏度和网络规模适应度，根据灵敏度大小判断隐含层节点对于学习残差的重要性，利用网络规模适应度确定与学习样本相匹配的隐含层节点个数，删除重要性较低的冗余节点，然后采用权值横向平均传播的方法更新保留节点的输入层权值。仿真结果表明，该算法能够比较准确地确定与学习样本相匹配的网络规模，有效地解决了随机权单隐含层前馈神经网络结构过大问题。 3.随机权级联神经网络结构设计 针对随机权级联神经网络结构设计问题，本文提出一种快速增长级联神经网络算法。首先给出增长级联网络结构的数学模型，并基于正交最小二乘算法推导出节点选择指标函数，据此，由候选节点池中选择对网络学习误差下降贡献最大的节点添加至网络。其次隐含层节点的输入权值及阈值随机生成并不再调整，而输出层权值在所需节点添加完毕后一次性计算。同时，文中对算法的收敛性进行了探讨，给出完整的理论证明。最后通过合成及实际标杆问题对算法性能进行测试，实验结果表明该算法能够自动构建级联网络结构，具有较好的泛化能力及非常快的学习速度。 4.随机权递归神经网络结构设计 回声状态网络(ESN)是典型的随机权递归神经网络，其输入权值及反馈权值随机生成，在学习过程中不再调整。由于其隐含层（储备池）复杂的动力学特性，设计与实际问题相匹配的储备池结构及权值矩阵异常困难。本文提出一种增长型ESN，能够自组织设计其储备池结构及权值矩阵。首先，利用分块矩阵理论向储备池中一组一组地添加隐含层节点，形成含有多个子储备池的增长型模块化结构。其次，子储备池权值矩阵基于给定的奇异值谱，利用奇异值分解构建而成，该方法能够保证网络的回声状态特性，无需事先调节储备池权值矩阵。第三，在网络增长过程中，输出层权值矩阵采用增量式迭代计算，减少了计算量，同时给出了算法的收敛性证明。最后通过时间序列标杆问题对算法进行测试，结果表明所提算法与固定结构ESN相比具有较快的学习速度及较好的泛化能力。 5.自组织随机权级联神经网络出水水质软测量模型 针对城市污水处理过程关键水质参数难以在线实时测量的问题，本文提出了随机权级联神经网络水质软测量模型(SCNN)。SCNN模型同时优化网络结构及权值，在结构学习过程中，由候选节点池中选择使网络学习误差下降最大的节点添加至网络中，基于学习过程及泛化误差的停止标准用于选择与问题相匹配的网络规模;在参数学习过程中，隐含层节点的输入权值及阈值随机生成且保持不变，而输出层权值矩阵在网络增长过程中增量式计算，然后SCNN的收敛性得以证明。最后通过非线性动态系统辨识及实际污水处理厂数据测试SCNN模型，结果显示，与其他模型相比，SCNN模型能够以更快的速度测量出水水质。