基于流形学习的特征提取方法研究

• 作 者: 侯晓宇
• 发表日期: 2009年期
• 关键词: 机器学习 模式识别 特征提取 判别分析 流形学习 洛仑兹几何

特征提取是模式识别研究中最基本的问题之一。对于图像识别而言,提取有效的图像特征是完成识别任务的一个关键问题。特征提取的本质就是把原始的高维样本数据投影到一个更有利于分类的低维特征子空间中。在过去的几十年中,有很多学者提出了相关的算法,如主成分分析法,线性判别分析法和流形学习等等。其中,经典的线性方法对于本身具有线性结构的数据集的特征提取是非常有效的,而对于具有非线性结构的数据集的效果却并不理想;流形学习方法虽然具有强大的非线性降维能力,却缺少对测试样本的从高维空间到低维空间的映射,计算复杂度较大:因此,研究人员开始尝试用线性方法来学习样本集合内部的非线性结构,出现了一类新的线性流形学习方法。本文对经典的线性特征提取方法、流形学习方法和线性流形学习方法做了更深入的总结和研究,提出了一种新的线性监督方法:洛仑兹判别投影法(Lorentzian DiscriminantProjection,LDP),来实现对于样本判别信息的提取。不同于传统的判别分析方法,LDP旨在发掘样本集合中局部的类内判别信息和全局的整体几何结构。其主要思想是利用每个样本点与其同一类内其它样本点及样本集合整体的几何中心的距离来构造一个新的洛仑兹流形,作为类内和全局数据结构的数学模型,从而通过学习相应的洛仑兹度量来保持样本的局部相似性和整体的几何结构。这样就将原始样本空间中的特征提取问题转化为洛仑兹流形的度量学习问题。本文最后将洛仑兹判别投影法LDP与现有方法在Yale、FRGC人脸数据库和USPS手写数字数据库上进行了实验对比和分析,实验结果验证了所提方法的可行性和有效性。