论文部分内容阅读
核方法是目前机器学习领域的研究热点之一，广泛用于模式识别、数据挖掘、信号处理、计算机视觉等多个领域。基于子空间的降维方法则是模式识别的一种主流方法。将两者结合的核子空间方法在解决高维非线性分类问题上表现出优越的性能。而核子空间方法中的一个关键问题是核参数的选择。核参数的好坏直接影响到特征提取的效果和分类性能的优劣。
采用最优化方法来进行核子空间方法中的核参数选择，是一种最新的思路。由于多数基于子空间的降维方法都归结为求特征向量问题或广义特征向量问题。因此，基于最优化方法求核子空间方法中的最优核参数的关键在于求广义特征值和广义特征向量的梯度和Hessian矩阵。
本文以优化理论为基础，对核子空间方法中的核参数优化问题进行研究。主要研究工作有以下三个部分：
(1)改进了广义特征值的梯度和Hessian矩阵的计算算法，在证明改进算法和原算法等价性的基础上，分别分析了两种算法的复杂度，进一步验证了改进算法的高效性。
(2)最优化目标准则函数的研究，针对不同的实际问题，从不同的角度出发，采用不同的优化准则函数。如针对分类问题，可以以交叉验证错误率为准则；针对类间可分离程度，可以以Fisher准则为目标函数；针对KPCA的特性，可以采用基于最大熵原则的非高斯性测度为准则。
(3)将改进的算法应用于调节基于核的主分量分析(Kernel PrincipalComponent Analysis， KPCA)和基于核的判别分析(Kernel Discriminant Analysis,KDA)中的核参数。建立优化模型后，采用基于导数的最优化方法对核函数的参数进行优化。以UCI数据库中数据集为例，通过数值计算将该方法的结果和网格搜索法的结果进行比较，验证了改进算法的有效性。