论文部分内容阅读
微表情是一种短暂的、微弱的、无意识的面部表情,持续的时间往往在0.5秒之内,能够揭示人类试图隐藏的真实情绪。微表情识别旨在让机器具有足够的智能,能够识别人类的这种真实情绪。基于微表情识别可以开发出很多有趣且实用的技术,如测谎技术等。因此,当前微表情识别已经成为情感计算、模式识别和计算机视觉中一个受到较多关注的研究课题。本文围绕微表情识别中两个具有挑战性的问题:(1)与微表情相关的人脸局部区域的捕捉以及(2)训练和测试样本分别属于两个存在较大差异的微表情数据集的跨库微表情识别,开展了深入的研究,提出了一系列有效的、具有较好性能的子空间学习方法。具体来讲,本文主要做了以下四个工作:1.为了充分地利用与微表情相关的人脸局部区域信息进行微表情识别,提出了一个联合多层级空间划分和核组稀疏学习(Kernelized Group Sparse Learning,KGSL)的微表情识别方法。在该方法中,多层级空间划分旨在有效地捕捉与微表情相关的人脸局部区域,以便基于多层级空间划分的空时描述子特征(多层级空时描述子)能够更好地表示微表情。同时,通过KGSL模型对多层级空时描述子进行处理,我们能够从多层级空间划分产生的众多人脸局部区域中选择出对于区分不同微表情具有贡献的人脸局部区域,并进一步地度量其具体的贡献程度。2.针对跨库微表情识别的问题首次开展了研究,提出了一个简单有效的领域自适应(Domain Adaptation,DA)方法——目标样本再生成器(Target Sample Re-Generator,TSRG)用于处理跨库微表情识别任务。该方法旨在学习一个样本再生成器,通过样本再生成器重新生成源域(训练)和目标域(测试)微表情样本,使得重新生成后的源域微表情样本在特征空间中保持不变,而目标域微表情样本将被强制要求与源域微表情样本拥有相同或相似的特征分布。如此,我们便可以使用基于源域微表情样本(提供标签信息)训练得到的分类器预测目标域样本的微表情标签。3.进一步将工作2中的TSRG扩展为一个更为一般的框架——领域再生成(Domain Regeneration)框架用于处理跨库微表情识别任务。DR框架继承了TSRG的基本思想。而与TSRG不同的地方是TSRG的再生成子空间为原始特征空间,而DR框架的再生成子空间可以是任意的子空间。基于DR框架,我们设计了三种不同的领域再生成器(Domain Regenerator),分别是使用原始特征空间作为再生成子空间的DRFS-S(Domain Regeneration in the original Feature Space with unchanged Source domain)和DRFS-T(Domain Regeneration in the original Feature Space with unchanged Target domain),以及使用标签空间(Label Space)作为再生成子空间的DRLS(Domain Regeneration in the original Label Space)。值得一提的是,工作2中提出的TSRG即是DR框架下的领域再生成器DRFS-S。4.进一步深入地研究了跨库微表情识别的问题,提出了一个联合直推式迁移回归模型(Transductive Transfer Regression Model,TTRM)和辅助集选择模型(Auxiliary Set Selection Model,ASSM)的跨库微表情识别方法。该方法首先通过ASSM模型从目标域微表情样本中选择部分样本组成辅助集,然后使用辅助集与源域微表情样本共同训练TTRM模型达到减轻源域和目标域样本间的特征分布差异的目的。该方法与工作2和工作3中的方法最大的不同之处在于,该方法中的直推式迁移回归模型借鉴了工作1的思想,考虑了不同的人脸局部区域在跨库微表情识别任务中的贡献。