论文部分内容阅读
随着深度网络的提出，人工神经网络(ANNs)又一次取得了重大的研究进展。ANNs已经应用到许多领域，比如智能感知，系统辨识和控制，决策制定和数据挖掘。然而，ANNs具有一个致命的缺陷，即“黑箱”特性。为了增加ANNs的透明性，Hu等人提出一种广义约束神经网络(GeneralizedConstraint Neural Network，GCNN)，该方法属于知识与数据共同驱动模型方法框架(Knowledge-and-data-drivenModeling, KDDM)。 在“知识”与“数据”共同驱动模型的框架下，基于广义约束神经网络，本文从广义约束的约束施加问题出发，首次讨论了约束施加的局部性原理，并提出广义约束神经网络求解微分方程的新思路。 论文的主要贡献总结如下: 1.本文提出一种具有等式约束的广义约束神经网络回归模型(GCNN_EC)。在知识与数据共同驱动的基本框架下，本文构建了一种新的神经网络输出模型，该模型的输出包括两项，第一项是由传统神经网络的输出构成（数据驱动子模型），第二部分是由等式约束条件构成（知识驱动子模型），以上两项以加权求和的形式耦合而成，权重的定义由数据到约束空间的距离构成。该方法将等式约束问题转化为无约束优化问题，并且使用线性优化方法去求解，因此约束条件的凸性不再是一个必要条件。与已有方法相比，GCNN_EC方法具有三个显著特点:第一，GCNN_EC方法可以连续地、严格地满足等式约束，而其他方法需要事先将等式约束进行离散化;第二，GCNN_EC可以处理含有未知参数的广义约束施加问题，同时可以得到未知参数的合理估计值，而其他方法不能处理此类广义约束施加问题;第三，该模型的算法复杂度和使用传统神经网络的复杂度相同。 2.针对人类大脑记忆的局部性原理，对等式约束施加方法进行了首次探讨。局部性原理是大脑获得高效计算与节约能耗的重要机制。本文考察了RBFNN+Lagrange multiplier, BVC-RBF,GCNN+Lagrange interpolation和GCNN_EC方法的约束施加方式。本文首次从“功能信号”和“修正信号”两个角度考察了本文方法与RBFNN+Lagrange multiplier的局部性与全局性，通过图示揭示了本文方法遵循人类大脑记忆的局部性准则。传统拉格朗日乘子法等解约束优化问题关注的是寻找满足约束的最优值，从未对约束的施加方式进行讨论，本文重点讨论了约束施加问题中的局部性原理。本文从知识与数据耦合方式的角度提出一个开放式问题:拉格朗日方法是全局施加方法还是局部施加方法?大脑是否应用了拉格朗日方法?本文对约束施加方法的研究有助于对该问题的理解和回答。 3.开展了GCNN_EC对常微分方程和偏微分方程中的系统性数值统计对比实验，对比的方法包括现有的其他神经元网络方法。数值实验验证了新方法的各方面优越性。首先，当边界条件包含有未知参数时，即边界条件以广义约束的形式给出时，传统方法不能处理此类约束，而本文方法给出的学习算法不仅能求解方程，同时能够给出未知参数的合理估计值。同时，该求解过程无额外的计算成本。第二，该方法可以完全满足等式约束条件，包括插值点约束条件、Dirichlet边界条件和部分Neumann边界条件（当边界条件具有显式的积分形式时），在函数回归性能和解微分方程时具有更高的精度。GCNN_EC模型方法为提高模型的透明度提供了一个可行而有效的路径。