论文部分内容阅读
本文主要包括三个部分：核主成分回归，总体最小二乘意义下基于核的非线性拟合以及提出了一种新的总体最小二乘意义下用于回归的支持向量机。本文主要探讨了后两部分的内容。首先，讨论了主成分分析(PCA)和核主成分分析(KPCA)用于拟合和回归的问题。通过对奇异值分解技术和给定数据集的协方差矩阵的特征值及其特征向量的分析，指出PCA和KPCA本质上是把原坐标系统旋转到以数据集的协方差矩阵的特征向量为坐标的坐标系统。PCA和KPCA通过降低数据的维数分别可用于发掘隐藏于数据集的线性和非线性关系。其次，在总体最小二乘线性拟合的基础上，本文提出了一种总体最小二乘意义下基于核的非线性拟合方法。通过选择一个合适的核函数，原数据空间上的非线性拟合问题可以转化成高维的特征空间上的线性拟合问题，然后求解核矩阵的最小特征值及其特征向量。这种转化并不会带来额外的计算量，因为所有的计算仍在原数据空间中进行，而且，该拟合方法并不需要事先知道拟合函数的类型。人工和现实数据集上的模拟实验结果表明该拟合方法是可行的。最后，本文提出了一种新的总体最小二乘意义下用于线性回归的支持向量机，称其为总体最小二乘支持向量回归(TLS-SVR)。由最小二乘支持向量机(LS-SVR)的启示，我们建立了TLS-SVR的目标优化函数，并指出该目标函数最终归结为非线性方程组的求解。利用牛顿方法我们求得了该非线性方程组的总体最小二乘数值解。然后对用传统的最小二乘法则和用本文提出的TLS-SvR算法得到的回归模型进行了比较，人工和现实数据集上的模拟实验结果表明本文所给出的方法优于前者。