论文部分内容阅读
面部表情在人与人之间的交流上有重要的作用,人脸表情相对文字、语音等媒介在表达人的情感、情绪方面具有更加直观、准确的优势。将自然人这种情感交互模式用于如虚拟远程教学、虚拟游戏、疲劳驾驶检测等人机交互领域,有利于提升人机交互的自然性。目前面部表情识别主要采用摄像设备采集的二维图像作为输入,通过二维图像样本训练表情识别模型,从而实现交互环境下基于面部图像的表情认知。但研究证明包括深度信息的三维表情信息在表情理解中也占有重要的地位,因而基于三维信息的表情识别也逐渐成为一种主要方法。为探讨二维图像和三维点坐标信息融合对表情识别的提升作用,本文研究了基于特征融合表情识别效果。然而实际应用环境,存在二维表情图像易获取,而三维表情信息需要特定的采集设备,数据采集相对困难的问题。本文研究改进了深度超限学习机模型,以面部捕捉仪获取的三维表情数据为基础,二维表情图像数据做局部参数修正,利用知识迁移建立了3D和2D信息协同的表情识别模型,将3D面部表情识别模型迁移到了针对2D面部表情数据的识别中。本文主要的研究工作和创新点如下:1.构建了基于面部标记点坐标的3D表情数据集与对应的2D表情图像数据集。由于实验室购置的OptiTrack面部动作捕捉设备可以精确地捕捉特定面部标定点的三维坐标点数据,捕捉到的三维点数据相比二维图像数据能够更加准确地表达面部表情过程中的面部运动信息。本文利用OptiTrack面部捕捉设备构建了基于面部标记点坐标的3D表情数据集,数据集包含27个特定位置标记点的三维坐标点数据。同时,利用高清摄像头采集了相同对象的2D表情数据集。两类数据集中各含有7个被采集对象的6种基本表情,每个表情共有5组数据。2.利用深度超限学习机研究了3D表情与2D表情的融合表情识别。本文通过研究3D几何向量和2D图像纹理特征融合的表情识别方法,证明特征融合的方法能够提高单独种类特征下的表情识别效果。为提取具有良好表征能力的表情特征,本文利用深度随机网络中的深度超限学习机提取3D几何向量与2D表情融合数据的特征,利用提取的特征进行表情识别。实验结果表明,深度超限学习机的多层ELM-AE网络具有很强的特征提取能力并且能提高基于特征融合的表情识别效果。3.提出一种基于改进深度超限学习机的迁移学习模型,研究了基于迁移学习的表情识别。迁移学习模型由深度超限学习机中的多层ELM-AE网络与OS-ELM分类器组合而成。本文利用迁移学习模型将基于三维点表情数据的表情识别模型迁移到基于二维图像的表情识别中,提升了基于二维图像数据的表情识别效果。