论文部分内容阅读
集成学习通过训练多个学习器把它们的结果进行集成能够显著地提高学习系统的泛化能力，被认为是一种有效的工程化智能计算方法。本文对集成学习方法作了一些较深入的研究，取得了如下一些成果：1．提出了一种快速选择性集成方法FASEN，该方法在独立训练出一批神经网络后，利用个体差异度和估计泛化误差这两个启发式信息，选择与其他个体差异较大且估计泛化误差较小的网络参加集成。实验结果表明，其泛化性能与已有几种代表性方法相当甚至占优。2．提出了一种用于聚类的无监督特征选择方法，该方法通过预先聚类来指导特征选择。采用了集成学习的方法对多次特征选择的结果进行集成，并且对ReliefF算法进行了改进以加强集成的效果。实验结果表明，该算法具有良好的特征选择性能，在去除无关或冗余的特征后进一步提高了聚类质量。3．基于集成学习的思想，提出了一种分布式聚类模型以及一种基于该模型的分布式聚类算法DK-means，该算法对局部数据的分布有较强的伸缩性。实验结果表明。DK-means算法在同等条件下能达到集中式聚类的水平，是有效可行的。4．提出了一种基于神经网络集成的分布式入侵检测方法，该方法建立在一种无中心的多Agent分布式体系结构之上。在实现分布式检测时，采用了一种基于单个Agent检测与多个Agent协同检测的两级集成算法。为适应新的入侵，提出了一种基于资源分配网的增量学习算法对Agent上的神经网络集成进行更新。5．利用JAVA实现了基于Agent的分布式入侵检测系统原型，并且在该系统中实现了基于神经网络集成的分布式入侵检测算法。实验测试结果表明，该算法能有效检测各种攻击并且具有对未知攻击的增量学习能力。