论文部分内容阅读
数据获取和存储能力的不断增强、计算机运算能力的飞速发展以及人们借助计算机挖掘数据中隐藏模式或规律的接连成功,使得模式识别成为一个日益活跃的研究领域.基于核的学习方法,简称核方法,具有严谨的数学基础、典型的模块结构和高效的非线性运算能力,能有效规避“维数灾难”,“局部极小值”及“过拟合”等问题,是处理中小规模数据的重要模式识别方法.核函数及其参数的选择是核方法研究中难以回避的困难问题,直接决定着核方法的最终性能.因此如何合理快速地进行核选择以达到核方法的预期效果是兼具理论价值和实践意义的研究课题.在众多的核函数中,高斯核函数因其性能表现稳定优越成为核参数优化分析中的重要研究对象,正交多项式核函数则凭借其核参数易于优化的特点成为核函数研究的一个新热点.对高斯核函数而言,时间复杂度高、算法实现困难以及样本数据需服从正态分布假设等是影响其参数优化方法普适性的主要问题,如何克服这些问题是高斯核参数优化研究的重要方向.对正交多项式核函数而言,如何在众多的正交多项式核函数中选择合适的核函数是一个亟待解决的问题.本文立足核函数及其参数的选择问题,围绕高斯核函数与正交多项式核函数这两类核函数,旨在提出针对高斯核函数的核参数选择准则和针对正交多项式核函数的构造及选择指导.本文的主要研究工作包括:(1)提出优化高斯核参数的中心核极化准则.为增强矩阵匹配值与核学习器性能表现之间的相关性,通过最大化增加矩阵中心化处理的核矩阵与标签矩阵之间的匹配值提出中心核极化准则,有效减少了数据原点坐标及非平衡数据对原有核极化准则的影响.证明了所提准则对应目标函数近似最优解的存在唯一性,奠定了快速锁定核参数的理论基础.指出中心核极化准则等价于特征空间中异类样本均值间距最大化准则,为该准则提供了重要理论支撑.文中通过3种核方法在23个数据集上验证了中心核极化准则及其多分类扩展形式的有效性.(2)提出优化高斯核参数的广义核极化准则.为更准确地刻画特征空间中异类样本间的分离度,通过增加类内局部结构考量提出广义核极化准则来解决分类问题中的高斯核参数优化,以获得合适的核参数来提高识别性能.该准则可视为核极化准则、中心核极化准则以及局部核极化准则的泛化形式.给出广义核极化准则对应目标函数近似最优解的存在唯一性证明,并指明了局部核极化准则对应目标函数近似最优解的存在唯一性,充实了高斯核选择准则的相关理论研究,并实现了对应核参数的快速寻优.文中通过支持向量机在19个数据集上验证了广义核极化准则及其多分类扩展形式的有效性.(3)在分析比较高斯修正的正交多项式核函数的基础上构造出三角修正的正交多项式核函数.针对近来涌现的高斯修正的正交多项式核函数,分析其性质并基于分类实验结果对未归一化数据提出相应的核函数选择及其核参数取值的建议.进一步为回避此类核函数高斯修正项中核参数选择的困难,构造出三角修正的正交多项式核函数,丰富了正交多项式核函数种类.新构造的核函数不仅具有核参数易于优化的特点,而且融合了三角核函数的尺度不变性,实验结果验证了此类核函数具有良好的分类性能.(4)给出正交多项式核函数的构造及选择指导.针对基于不同基础正交多项式函数、不同修正项及不同构造方法提出的正交多项式核函数,深入分析其性质及构造特点,明晰这些类核函数间的异同点.在32个归一化标准数据集上验证这些类正交多项式核函数的分类性能与回归性能,利用统计分析手段客观评价其泛化能力优劣,并通过与4类常见核函数的性能比较来说明正交多项式核函数的通用性.所得结论可为构造及选择正交多项式核函数提供理论依据和技术支持.核选择是核方法研究中的根本问题.本文针对高斯核函数提出的核参数优化准则和针对正交多项式核函数提出的构造及选取建议将丰富和发展核选择理论与方法,对于解决当前核方法研究与应用中所广泛面临的核选择难题具有一定的理论意义和应用价值.