论文部分内容阅读
面部特征点定位是人脸图像分析和理解过程中非常重要的一个步骤，在人脸识别、面部表情分析、人脸动画、三维人脸重建以及人脸跟踪等问题中具有非常重要的作用。经过研究者们多年的努力，面部特征点定位的性能得到了很大的改善。然而，由于（夸张）表情、（剧烈）光照、（过大）姿态、（部分）遮挡等因素的影响，人脸的面部纹理和形状经常发生非常大的变化，从而给面部特征点的精确、鲁棒定位带来了很大的挑战。 本论文围绕面部特征点定位中的挑战性问题，研究了如何刻画单张人脸图像上“面部特征点之间的上下文信息”以及人脸样本空间中“人脸样本之间的上下文信息”，并利用这些信息来改进面部特征点定位的性能。具体地，本论文的主要贡献总结如下: 提出了一种基于面部特征共生关系的特征点定位方法 人脸的面部特征之间存在着很强的空间位置约束关系，这种约束关系可以通过面部特征之间的共生关系来体现。本文提出了一种简单、有效的非邻接块Haar-like特征来刻画这种面部特征之间的共生关系。通过融合传统的Haar-like特征和提出的非邻接块Haar-like特征，得到了一种更强的候选特征集合。其中，传统的Haar-like特征刻画了特征点周围的局部纹理，提出的非邻接块Haar-like特征刻画了特征之间的上下文约束关系。最后，通过Real AdaBoost算法自动选出对面部特征点定位有效的特征子集来进行面部特征点定位。实验表明，本文提出的非邻接块Haar-like特征有效地刻画了面部特征点之间的上下文信息，并且改进了面部特征点定位的性能。 提出了一种基于级联形状空间剪枝的面部特征点定位方法 传统的基于局部检测器的面部特征点定位方法没有显式地考虑特征点之间的空间位置约束关系。虽然，本文提出的基于面部特征共生的方法在一定程度上缓解了这个问题，但本质上，该方法仍然是针对单个面部特征点的，在比较复杂的场景下，仍然会产生较多的误检。为了解决这个问题，本文提出了一种基于级联形状空间剪枝的面部特征点定位方法，试图从两个方面改进面部特征点定位的性能:其一，将所有的面部特征点联合建模成一种树形结构，并通过Structured OutputSVM(SOSVM)学习一个判别式结构化分类器来评价特征点组合成的人脸形状的好坏;其二，提出了一种形状空间剪枝方法来快速地滤除不合理的人脸形状并得到全局最优的人脸形状。具体地，从两个层面上对候选的人脸形状空间进行剪枝。首先，通过局部特征点检测器独立地滤除候选的特征点，然后，通过判别式结构化分类器联合地滤除候选的特征点组合（即人脸形状）。实验结果表明，本文的方法能够快速地滤除不合理的人脸形状，同时以很高的概率包含目标人脸形状。在BioID和LFW人脸数据库的实验表明本文提出的方法超越了当前主流的面部特征点定位方法。 提出了一种利用样本上下文的图像特定的特征点定位方法 随着面部特征点定位研究的不断深入，大量有特征点标注的数据被共享出来。如何利用这些标注好的人脸数据来改善面部特征点定位的性能是一个值得研究的问题。当前的一些面部纹理和形状的建模方法并不能有效地利用这些标注数据。比如，传统的主动表观模型(Active Appearance Model，AAM)，当训练数据变大时，尤其是当训练数据涵盖了各种姿态、表情、个体等变化时，往往会表现出非常差的性能。针对这个问题，本文提出从标注的参考集样本中获取输入图像的“上下文”信息，进而学习输入图像特定的纹理和形状模型来改进面部特征点定位的性能。本质上，这种“上下文”信息隐含地标记了样本的某些属性信息，如姿态、表情、个体等。具体地，本文的工作是在主动表观模型的基础上开展的，通过引入局部化约束来得到输入图像的“上下文”信息。实验表明，本文提出的方法显著改善了面部特征点定位的性能。 提出了一种面向特定人图像集合的联合特征点定位方法 近些年来，随着各种数码相机的流行以及基于网络的照片共享网站的快速发展，收集同一个人的多张人脸图像变得越来越容易。在这种情况下，越来越多的针对图像集合的应用出现了。其中一个非常关键的问题是如何同时对齐图像集合中的人脸图像，即:“特定人图像集合的联合特征点定位问题”。针对这一类特殊的问题，本文提出利用人脸图像间的“上下文”关系来改善面部特征点定位的性能。具体地，给定同一个人的人脸图像集合，可以首先利用已有的面部特征点定位方法对其进行初始定位。然后利用本文设计实现的面部特征点定位评估器对初始定位结果进行评估并按照一定的信度选出定位结果比较好的人脸样本子集。对于定位不好的测试人脸样本，提出了一种特征点定位修正方法，可以从定位结果比较好的人脸图像子集中获取测试图像的“上下文”信息并利用其来修正测试图像的定位结果。本质上，本文提出的方法利用了样本之间的“上下文”信息来约束输入人脸图像的形状和纹理空间，进而纠正了测试图像的定位结果。最后，实验表明本文提出的联合特征点定位方法比较明显地改进了初始面部特征点定位的性能。