论文部分内容阅读
面部表情自动分类在智能人机交互中发挥着极为重要的作用，是计算机视觉、图像处理、模式识别等领域的一个热门研究话题。
Gabor函数是唯一能够达到时频测不准关系下界的函数，它能够较好地兼顾信号在时域和频域中的分辨能力。用Gabor函数形成的多通道Gabor小波有着与生物视觉系统相近的特点，在计算机视觉中获得了广泛的应用。
本文应用多通道Gabor小波对自动面部表情分类中的特征点提取、特征点跟踪及表情分类进行了深入的分析、研究。
论文的主要创新如下：
1.提出了Gabor小波主动外观模型(GW-AAM)，并进行人脸特征点的精确定位。基于统计学的主动外观模型(AAM)虽然在目标物体定位方面取得了较大的成功。但其搜索耗时，对形状的初始位置敏感。应用到人脸特征点的精确定位方面仍有不足。本文提出将Gabor小波特征点跟踪与AAM定位两者结合的GW-AAM模型，该模型综合了两者的优点。先用多通道Gabor小波特征点跟踪方法进行初定位，通过人脸的仿射变换，获得人脸的初始位置，作为AAM的初始形状，再用AAM方法进行精确定位，获得了很好的精度和速度。
2.设计了一个具有纠错能力的支持向量机(SVM)多类分类器，并利用多通道Gabor小波提取面部表情特征，进行表情的分类。基于统计学习理论的SVM运用结构风险最小化原则，在经验风险与模型复杂度之间作适当的折衷，从而获得了更好的推广能力。但普通的SVM只能进行二类问题分类，虽然人们提出了多种SVM组合方法进行多类问题的分类，但这些组合的SVM不具备纠错能力，一旦某个SVM分类错误将导致最终结果的错误。为此，本文利用通信理论中的纠错编码原理设计了一个具有纠错能力的SVM多分类器。该分类器能纠正3位错误，即使有3个SVM出现分类错误，最终结果仍然不受影响。利用该分类器及多通道Gabor小波提取的面部表情特征进行了表情的分类试验，结果证明了这种分类器的优异性能。
3.设计了一个Gabor小波神经网络，并进行了面部表情分类。小波神经网络是建立在小波理论基础上的一种新型神经网络模型。小波神经网络兼容了小波与神经网络的优越性，一方面，充分利用小波变换的时．频局部化特性；另一方面，发挥神经网络的学习功能，从而具有较强的逼近与容错能力。本文结合多通道Gabor小波特征提取方法，设计了一个用于面部表情分类的Gabor小波神经网络。该网络将表情特征提取与表情分类整合在一起，利用神经网络的训练算法动态的调整Gabor小波的中心频率及方向参数，从而获得最佳面部表情分类。试验结果表明该方法是行之有效的。 4.利用多通道Gabor小波进行表情特征点的跟踪并进行了算法改进。多通道Gabor小波特征，不仅表示了该点的信息，也表示了一个较大区域的信息。利用它作为特征点的局部信息，比直接用该点的灰度信息具有更高的可靠性、鲁棒性。应用多通道Gabor小波的特征点跟踪方法因而也具有更好的性能。但由于其是独立的跟踪每个特征点，没有利用人脸特征先验知识，因此，仍有一定的误差。本文提出利用人脸的先验知识，对跟踪结果进行仿射变换，以纠正部分特征点的跟踪错误，取得了较好效果。
5.利用光流及Gabor小波特征点跟踪方法，对表情图像序列中的特征点进行跟踪，从而获得各特征点的运动向量，将其作为动态表情特征，并用支持向量机进行分类，实现了动态表情的分类。