论文部分内容阅读
人脸特征点检测是定位人脸图像上一系列事先定义的点,是对人脸图像进行分析的基础与关键,并且在人脸识别、表情识别、性别识别、年龄识别、人脸动画、视频压缩等方面有广泛的应用。在近几十年来,人脸特征点检测得到了广泛的研究,取得了大量的成果,并在受控条件下取得了较高的检测率及定位精度。然而大量实验表明,现有算法在自然条件下的检测率和定位精度均出现一定程度的下降,无法满足服务机器人自然人机交互时对人脸图像分析的需求。在此背景下,本文开展自然条件下人脸特征点检测的研究,为人脸识别、表情识别等方法在自然环境条件下的应用提供坚实的基础,以进一步提高服务机器人人机交互智能性。自然条件下的人脸特征点检测主要挑战来源于两点。一是成像条件的多变性导致人脸外观变化存在高度非线性,给人脸特征点局部外观模型的建立带来极大困难。二是图像中可能存在与特征点处局部外观相似的点,使得在复杂背景以及成像条件变化的情况下容易产生误检测。本文针对上述两个难点,着重研究了人脸特征局部外观的建模、人脸形状的建模以及人脸形状作为先验知识融合到人脸特征检测中以提高检测精度等问题。本文的主要研究内容及创新点如下。1.提出了一种采用GBPI图像描述及级联拟合算法的实时人脸特征检测方法。考虑到许多人脸应用对实时性的要求,采用级联拟合算法对人脸特征点位置进行实时估计。设计了一种几何模糊及姿态索引图像描述(Geometry Blurred Pose Indexed image descriptor, GBPI图像描述)对人脸特征点局部外观进行描述,并以随机蕨作为弱分类器,训练两层的级联拟合器,对当前位置的局部纹理与对应人脸特征点的姿态,包括位置、方向、尺度等进行拟合以实现目标特征点的定位,同时采用mean-shift算法对多个随机选择的初始点所估计得到的目标人脸特征点位姿进行融合,得到最终的人脸特征点定位结果,最后基于所估计的特征点位置及其离散程度对特征点的置信度进行评估以判断特征点是否被检测到。实验结果表明所提算法在不考虑人脸形状约束的条件下,对人脸特征点的检测成功率和定位精度接近现有考虑人脸形状约束的算法,与人工定位的精度相接近。同时所提方法在仪表检测与数字识别中得到应用。2.提出了一种采用马尔科夫随机场及连续隐变量模型的人脸特征检测方法。考虑到人脸形状约束对特征点定位的重要性,结合由概率主元分析得到的人脸形状概率分布模型以及在通过级联拟合方法给出候选人脸特征点位置集合的基础上设计得到人脸特征点观测模型,并以人脸形状模型的参数作为连续隐变量,计算给定人脸特征点候选位置条件下人脸特征点位置的后验概率,并通过最大化该后验概率实现对人脸特征点位置的估计。考虑到优化过程中可能陷入局部极值,采用马尔科夫随机场建立低阶人脸形状模型,通过置信传播算法估计人脸特征点的初始位置。考虑到人脸形状在头部姿态变化下的复杂性,通过k-means方法对人脸形状进行聚类分析,并在每个聚类上建立连续隐变量模型,通过人脸特征点初始位置对模型进行选择。由于将人脸形状及特征点外观的模型参数考虑为隐变量,所提出的方法对偏离人脸训练集的人脸形状有更好的适应能力。在LFPW及LFW人脸数据集上的实验表明相对于级联拟合算法以及部分现有算法,所提方法在检测率和定位精度上均有一定程度的提高。3.提出了一种采用高斯混合模型的人脸特征检测方法。考虑到人脸局部外观及人脸形状在头部姿态、表情、光照等变化下分布的复杂性,采用高斯混合模型建立人脸形状模型,采用支持向量机及高斯混合模型建立人脸特征点局部外观模型,在此基础上推导在给定观测即人脸图像下人脸特征点位置的后验概率,并通过不断最大化后验概率下界来逼近最大后验概率,实现对人脸特征点的检测。提出了一种基于模型的霍夫投票方法,在高斯混合模型的基础上估计初始人脸形状,对所提优化方法进行初始化,减小优化过程陷入局部极小的可能性。在LFPW和LFW人脸数据集上的实验表明所提算法的定位成功率及定位精度达到甚至超过了人工定位的精度。本文的研究在一定程度上提高了人脸特征点检测算法在自然条件下的鲁棒性、检测率和定位精度,对人脸图像分析系统在自然条件下的应用有一定的推动作用。