论文部分内容阅读
贝叶斯框架下的机器学习方法可以考虑在模型中包含先验知识，避免过拟合问题，同时还为模型选择提供了一套完整的理论，交分贝叶斯逼近为估计模型和参数的后验概率提供了一种有效的计算方法。本文主要处理参数带有等式约束和不等式约束情况下的变分贝叶斯逼近问题，并将这种方法应用于广义结合泛函网络的参数估计问题。广义结合泛函网络是一种典型的泛函网络模型，它可以在设计模型时首先考虑存在的领域知识，然后再对参数进行学习。但是在对其参数进行学习时，由于模型参数存在着等式约束，这样就导致无法直接估计后验概率分布。本文对贝叶斯框架下广义结合泛函网络与广义约束神经网络的应用进行了研究。主要研究内容及结果如下：
⑴提出了一种参数存在等式约束的变分贝叶斯逼近的方法，并将其用于估计广义结合泛函网络模型参数的后验概率。当模型参数存在线性等式约束和线性不等式的情况时，首先通过线性变换的方法消除泛函网络参数的约束，然后再利用变分贝叶斯逼近方法对模型参数的后验概率进行估计。这种方法被应用于广义约束泛函网络之后，分别对混沌、线性与非线性时间序列进行了分析和预测。在分析混沌时间序列时，变分贝叶斯可以提供参数的后验概率，这给参数的统计推断带来了很大的方便，而在利用贝叶斯广义泛函网络队白回归模型进行模型选择时，变分自由能量可以作为一种准则米进行模型选择。而且在太阳黑子预测这样的实际问题上，贝叶斯广义结合泛函网络也体现与传统神经网络在性能上的可比性，并显示了独有的优越性。
⑵提出了一种具有广义约束意义的神经网络模型——广义约束神经网络(GeneralizedConstraint Neural Networks)，并研究了其中两种具有代表性的模型——加和模型和乘积模型的基本特性。针对建模中可能出现的各种先验知识，本文作者从模型结构的角度出发，考虑如何将先验信息引入到神经网络系统设计之中，进而引出了广义约束神经网络的参数可辨识性问题和奇异点问题。实验表明，在某些情况下，先验模型的引入可以提高模型的泛化能力，并可以有条件地对模型中据有物理意义的参数进行估计。虽然乘积模型可能会出现奇异点问题，但是对于揭示模型的物理特性有着积极的意义，这样的问题在前人的工作中未见有所报道。
⑶基于广义约束神经网络的加和模型，将参数模型和非参数模型相结合，对荷兰Wageningen大学从1987年到1992年之间获得的温室番茄实验数据进行了植物生长建模，在实现植物生长预测的同时，有效地估计了植物生长过程中的温度阈值参数。在对具有加和形式的广义约束神经网络进行学习时，将基于变分贝叶斯逼近的Bayesian Backfitting方法引入其中，在贝叶斯框架下对模型的参数进行了估计。对于生态模型系统来说，一般都存在着大量的先验信息，本文作者提出的具有半参数形式的约束神经网络模型对于如何将先验信息引入到系统建模之中，作了有意义的研究与探讨。虽然在预测性能上与纯神经网络相比稍差，但是却可以通过参数化模型获得一些在具有一定物理意义的参数，在保证预测精度的前提下，提高了模型的可解释性。