论文部分内容阅读
判别分析(Discriminant Analysis)是模式识别领域的重要研究内容之一。它研究如何利用有监督数据进行学习，从而能够从数据的原始特征中提取出最具判别力的新特征以提高分类器的性能。过去几十年来，判别分析在理论和应用上均取得了很大进展。但是，仍然有一些理论和方法的问题没有得到解决，为此，本文在对判别分析领域主要进展进行深入调研的基础上，就其中的若干问题进行了探讨，从异方差判别分析、非参数判别分析方法以及多类判别分析等不同角度开展研究，取得了如下研究结果：
1.提出了一种基于K-L散度(Kullback-Leibler Divergence)的异方差判别分析方法
传统的线性判别分析方法(LDA)假设各个类的样本都服从同方差的正态分布，因而在当各类样本具有异方差分布时(实际应用中往往是异方差的)，LDA无法利用各类方差的差别来更加有效的提取特征。K-L散度是一种能够利用异方差信息的概率距离度量，因此可以用来作为异方差判别分析的判据。但前人提出的基于K-L散度的判别分析方法具有下列不足：1)不能解析地得到最优解；2)未能扩展到多类问题上去；3)没有利用各类的先验概率。因此，本文提出了一种新的基于K-L散度的异方差判别分析方法以解决上述问题。在该方法中，我们研究了用于两类问题的K-L判据的几何意义，发现其等价于Bhattacharyya判据。此外，我们还在判据中引入了先验概率，并将两类判据扩展到多类判据。并且，针对传统方法迭代优化求解计算耗费大的问题，我们还提出一种获得判据次优解的解析计算方法，从而可以像传统LDA一样快捷地计算求解。实验表明，该方法与基于Chemoff距离的异方差判别分析方法性能基本相当，均明显优于LDA。
2.提出了一种新的非参数判别分析方法——Parzen判别分析
判别分析有参数和非参数两类。前者假定各类数据概率均服从某种可以参数表示的概率分布；后者则不对各类数据分布做任何假设。一种典型的非参数方法利用每个样本的同类和异类近邻计算散度矩阵进而提取判别特征。但是这个直觉上合理的策略并没有和错误率建立理论上的联系。本文的研究则发现这种策略实际上是最小化贝叶斯错误率(Bayesian error rate)的一个上界。此外，我们认为前人工作中对近邻的选择或者目标函数的定义并不合适。为此，我们提出了一种新的基于近邻的非参数判别分析方法，称为Parzen判别分析。该方法旨在固定平均局部类内散度的情况下，最大化平均局部类间散度，并且在计算平均局部相似性/非相似性散度时，使用了与Parzen概率密度估计相似的思想。实验证明Parzen判别分析优于其它基于近邻的非参数方法。
3.提出了一种新的多类判别分析策略
判别分析中另外一个重要的问题是如何从两类问题扩展到多类问题。传统方法是定义一个统一的多类判据(如将各个两类问题的判据以加权和的方式组合)。但是，我们发现这种定义统一多类判据的扩展方法有两个重要缺陷：1)由统一的多类判据提取的特征不能保证对所有两类问题都是最优的特征；2)一个两类问题的内在判别子空间(intrinsicdiscriminative subspace)可能具有较低的维数，但用统一的多类判据学习到的判别子空间的维数却可能很高。因此，本文首先在理论上进行分析，说明使用上述扩展方式的局限性。基于此，我们提出了一种新的多类问题判别分析策略：即将一个多类问题看成若干两类问题，然后用一种“锦标赛”的方式进行组合(每一场“比赛”实际都是一个两类分类问题)。同时，对每个两类问题，我们都提取出针对这两类的、最优的特征，从而使最终的分类性能得到提升。实验证明，在这种策略下应用参数和非参数判别分析方法，整体上都好于使用统一的多类判据的方式。
上述研究不仅从理论上丰富了现有的判别分析方法的内涵与外延，而且对实践中如何针对特定问题(如人脸识别)的不同属性选择最优的判别特征提取方法具有指导意义。