论文部分内容阅读
支持向量机(Support Vector Machine,SVM)是近年来受到广泛关注的一类学习机器,它以统计学习理论为基础,具有全局最优、适应性强、推广能力强等优点,已成功应用于模式识别、回归估计及概率密度估计等众多领域。在SVM的学习训练过程中,几乎所有研究都以单个SVM作为训练机,关于SVM的多学习器学习方法研究甚少。集成学习通过训练多个学习器并将其结果进行合成,可以显著提高学习系统的泛化能力。将集成学习技术引入到SVM学习中,可以更好地提高SVM的泛化能力。因此,基于集成学习的SVM学习方法研究成为目前SVM研究中的一个重要方向。本文对分类SVM集成学习方法进行了系统的研究,介绍了分类SVM的概念和原理。对于集成学习技术的理论分析、实现方法的设计和实际应用进行了系统的研究分析,分析了它们的产生背景。介绍了在集成学习中的分类问题以及两种主要的集成学习方法Bagging和Boosting。比较了Bagging和Boosting的优缺点,考察了它们的生效机制。分析了选择性集成的原理和产生背景,并介绍了一种经典的选择性集成方法GASEN。同时完成了以下研究工作:(1)提出了两种分类SVM集成学习方法:基于Bagging的分类SVM集成学习方法Bagging_SVM和基于AdaBoost的分类SVM集成学习方法AdaBoost_SVM。(2)针对选择性集成的实现复杂度过高问题,借鉴群体智能方法,提出了基于粒子群优化算法的选择性集成算法PSOSEN,将粒子群优化算法引入到选择性集成中,利用高速收敛的粒子群来选择差异大精度高的个体分类器,建立最优的集成模型。利用UCI数据库对PSOSEN进行了实验测试,实验结果表明该方法优于Boosting和Bagging方法,在准确率、时间效率和集成规模三个方面都取得了显著提高,可以成为一种高效的选择性集成的实现方法。(3)针对粒子群优化算法容易陷入局部最优解的问题,提出了一种改进的粒子群优化算法,并将改进后的粒子群优化算法应用在分类SVM选择性集成上,提出了基于改进粒子群优化算法的选择性集成算法APSOSEN。利用UCI数据库对APSOSEN进行了实验测试,实验结果表明该方法可以有效地解决PSOSEN的局部最优问题,并在准确率、收敛性和集成规模三个方面都得到了提高,可以成为一种更高效的选择性集成的实现方法。本文对分类SVM集成学习方法和选择性集成学习方法进行了初步的研究与探索,作为SVM研究中的一个新问题,本文的研究成果具有重要的意义。