论文部分内容阅读
最小二乘支持向量机(Least Squares Support Vector Machines，LS-SVM)是一种遵循结构风险最小化原则的机器学习方法。它是传统SVM在二次损失函数下的一种特殊形式，用一组等式约束代替了SVM的不等式约束，提高了问题求解的效率，因而在分类、预测等领域得到了广泛应用。但LS-SVM在建模过程中丧失了传统SVM的稀疏性，使得模型的拟合能力和泛化能力有限，因而关于LS-SVM建模性能的学习算法研究具有研究价值。本文结合国家自然科学基金项目“基于多目标评价的竖炉焙烧过程智能优化设定方法的研究”，围绕LS-SVM建模丧失稀疏性等问题，开展了提高LS-SVM建模性能的学习算法及其应用研究，主要体现在如下三个方面： 1、针对传统剪枝算法对Lagrange乘子位置考虑不周的问题，提出一种基于二阶熵剪枝的学习算法。引入二阶熵概念作为LS-SVM建模过程中训练与剪枝的依据，计算随机划分的训练子集的二阶熵，然后进行排序，选择具有最大熵的子集参与训练，并给出了以累积误差率为终止条件的新的剪枝算法。实验结果说明新方法可以避免传统剪枝算法仅考虑Lagrange乘子绝对值大小所带来的应用效果不理想的问题。 2、对影响LS-SVM建模泛化性能的数据处理和多输出应用问题，一是利用核主元分析法去除数据中的噪声，通过非线性映射将训练数据集映射至特征空间，以核函数特征值大小作为去除数据噪声的依据；其次是将多输出模型划分为各子模型，从总的支持向量矩阵中得到相应的输出，解决了传统剪枝算法不能直接应用于多输出的问题，实验表明模型的泛化性能得以提高。 3、针对上述提高LS-SVM建模性能的学习算法，建立了仿真实验平台并验证了其应用效果。根据模型算法设计了模型结构及功能，并以此为依据开发了应用平台。利用UCI(University of California-Irvine)机器学习数据库对经典的模式分类、函数逼近等问题进行了方法的对比实验，结果表明本文方法的有效性。并以竖炉焙烧过程的变量设定历史数据和心脏病的诊断数据为应用对象开展了对比实验研究，结果显示出提出的方法对提高LS-SVM建模的性能具有应用优势。