运用半正定规划求解ε-支持向量回归机中最优核函数方法研究

• 作 者: 徐晶
• 机 构: 中国科学院大学
• 出 处: 中国科学院研究生院 中国科学院大学
• 发表日期: 2008年期
• 关键词: ε-支持向量机 半正定规划 核函数 核矩阵 求解方法

通常意义下的支持向量机(Support Vector Machines)中的核函数是人为选取的，这里包括核函数本身及核函数参数两个方面。这些人为选取大多是依照人们经验进行的，这极大的限制了支持向量机的扩展能力。　　
本文意在引进一项技术，使得ε-支持向量回归机能够自动学习符合数据特性的最优核函数，这一过程是通过求解一个半正定规划完成的。　　
本文第一章中介绍了支持向量回归机的发展历史和近期成果，并针对文献中支持向量回归机核函数的选择问题提出一些改进的想法。　　
第二章第1节中简单介绍了δ-支持向量回归机、v-支持向量回归机的原始问题、对偶问题以及决策函数的定义。第2节中介绍了半正定规划问题(Semi-Definite Programming，缩写为SDP)和二次约束二次规划问题(Quadratically Constrained QuadraticProgramming，缩写为QCQP)的基本定义和重要结论，包括舒尔定理(Schurcomplement lemma)。　　
第三章中详细证明了如何将ε-支持向量回归机中最优核函数的选择问题和如何求解支持向量一并转化为一个标准的半正定规划问题或是一个二次约束二次规划问题，并最终确定优化后的决策函数。　　
第四章我们先定义了由不同核函数(可以是同类核函数但不同参数，也可以是不同类核函数)线性组合而成的混合核函数。然后通过软件求解第三章提出的规划问题获得线性组合中的每一个核函数的系数，并最终确定该新核函数和决策函数。　　
总的来说，将最优核函数的选择纳入到求解支持向量回归机的过程是一种数据驱动(Data-Drive)的最优化技术，相比传统支持向量回归机增加了对核函数的自动选择。实验证明，由该方法得到的决策函数比传统的支持向量回归机更优。