论文部分内容阅读
分类问题是实际应用中普遍存在的问题，也是数学规划领域的基础研究之一，快速发展的信息技术对其在理论研究和实际应用中提出了许多新的难题和挑战。基于数学规划的分类方法借助其强有力的理论基础来实现分类任务表现出很多优越的性能。支持向量机是基于统计学习理论，借助最优化方法来解决机器学习问题的有力工具，目前，已成为研究的热点。但是这些分类方法依然存在诸多问题需要解决。准确率、速度、鲁棒性、可伸缩性、可解释性是评估分类方法的五条标准，其中准确率又是重中之重。本文是基于多目标规划的视角在这五个方面深入研究、剖析并改进最小二乘支持向量机、多目标规划分类模型。
本文以深入探讨分类问题为研究目标，立足于对基于多目标规划的分类模型和其在实际中的应用进行完善、推广和创新。论文的主要内容包括以下几个方面：
1.简要回顾了支持向量机、最小二乘支持向量机及多目标规划分类算法的研究现状，最小二乘支持向量机可以看作是多目标规划分类方法的一种。在分析这些模型特点的基础上，归纳总结了现有基于多目标规划分类模型研究存在的不足，并指出其应用到实际问题中存在的困难。
2.针对现有最小二乘支持向量机和多目标规划分类算法存在解释能力差的不足，提出了用单个特征核函数的线性凸组合的形式来代替传统的单个核函数，即多核函数代替单核函数。该算法将特征选择问题转化为普通的特征参数学习问题，大大提高了模型的可解释能力。首次将多核函数应用于多目标规划分类模型中，提高了多目标规划分类模型的求解速度和可解释能力。试验结果表明，只用较少的特征就能得到很好的分类结果，提高了计算速度和模型解释能力，改善了模型性能。
3.针对最小二乘支持向量机和多核多目标规划算法的样本缺少稀疏性这一缺点，提出一种基于L1范数的最小二乘支持向量机和多核多目标规划分类模型。在不降低模型分类精度的情况下，该算法有效的保证了支持向量的稀疏性，同时得到了稀疏的特征，大大提高了算法的计算速度和鲁棒性。
4.理论已经证明，不同范数表达的惩罚函数具有不同的特点，同时受到统计学和信号处理两个领域的启发，本文提出了两个自适应惩罚函数选择的最小二乘支持向量机和多核多目标规划分类模型。一直以来，人们研究的都是具有固定惩罚函数的分类模型。研究发现，这种模型的分类性能是有局限性的，它们只对某种特定的数据结构才有好的分类结果。上述两个自适应惩罚函数模型根据数据特点来自适应的选择最优惩罚函数的范数值。同时应用进化策略作为强有力的优化工具来帮助这些模型充分发挥它们的性能。试验结果表明，这两个改进模型在衡量分类模型的五个标准上都有较大的改进。
5.将本文所提出的六个模型逐一应用到UCI基准信用数据库和美国商业银行实际信用数据库上，进一步检验这些模型的实际应用性能。优化结果表明，与其他流行信用评价模型相比，这六个模型的准确率高，可解释能力强，求解速度快，从而验证了本论文所改进算法的实用性。
本文沿着L2→L1→Lp(p∈[1，2])路线来研究这些数据挖掘模式分类方法的改进。上述过程是根据问题导向层层递进的。在研究的过程中，不断的发现问题，尝试着解决问题，尝试着从更加理性和合理的角度提出更加贴切实际问题的最终模型：自适应惩罚函数选择的分类模型。