论文部分内容阅读
随着数据采集和存储技术的快速发展，人们现实的经济社会活动产生了日趋增多的庞大的数据库。这已经发生在人类社会的几乎所有的领域，从普通的，比如超市业务数据、信用卡使用记录，到专业领域的，如天体图像、医疗记录等。在这些领域中，经常会出现分类问题，它涵盖了任何基于已获得的信息，并且需要决策和预测的所有情况，例如在银行贷款申请过程中，银行会根据客户的收入，性别，以往的信用记录等给客户进行分类；在医学领域，可以根据已有的记录，根据某种细胞表现的特征，对其进行判别，决策是否属于癌细胞等。
在分类问题中，选择适当的方法，得到最小的预测误差显得尤为重要。本文将分类方法划分为两类，一类是用于分类的传统统计方法；另一类是数据挖掘中的分类方法。在传统统计方法中，重点给出了线性判别分析和1ogistic回归方法，并且对这两种方法进行了对比。在数据挖掘方法中，重点讨论了机器学习中的应用较为广泛的分类与回归树算法（Classification and Regression Trees，简记为CART），CART算法是一种类似于流程图的二叉树结构，它具有运行速度快，精度高，生成模型简单，能处理大数据集等优点。1994年Breiman提出了Bagging组合方法，即利用Booststrap抽样方法得到新训练集，利用这些新训练集构建众多基分类模型，并通过组合这些基模型得到最终的分类组合分类模型。在此基础上，1996年Freund和Schapire提出了更为精确的的方法-Adaboost，它在获取训练集时采用自适应抽样权重，对那些难以分类正确的样本采用加权抽样权重的形式，并在组合最终模型时，采用自适应投票权重。2001年Breiman提出了随机森林算法，它是以Bootstarp抽样方式获取新的训练集，并在构建模型时，在每个节点处产生划分条件时，是采用随机选择F个自变量，并从这F个自变量中选择最优的一个划分。
通过Bagging分类算法和随机森林分类算法的比较可知，组合算法中，基模型为未剪枝随机变量划分分类树的有偏集小于修剪分类树的有偏集。又由于Adaboost难以确定其组合模型的收敛性，所以在Adaboost分类算法的基础上给出了拟Adaboost分类算法，该方法可被证明具有收敛性，且通过与Adaboost分类算法方法对比发现模拟的自适应再加权权重和实际的自适应权重可以达到同样的效果，即减小组合模型的推广误差。此时，我们可以将拟自适应再加权方法和基模型为未剪枝随机变量划分分类树的随机森林算法结合在一起，由此，接下来给出了拟自适应随机森林分类算法，并证明了此算法具有收敛性。最后，我们通过两个实验数据分析发现，在训练集较大时，拟自适应随机森林分类算法会优于随机森林分类算法。