论文部分内容阅读
近十几年来，随着计算机技术的发展以及三维扫描技术的日渐成熟，三维数据的获取日益简单、快捷、精确，极大的促进了以三维数据为主的计算机视觉和计算机图形学的发展。于此同时，伴随着采集设备的进步，三维人脸处理获得了极大的发展，三维人脸数据包含二维图像所不具有的结构信息，越来越受到研究学者们的重视。 三维采集设备所获得的人脸数据具有明显的不规则性，需要规则输入的传统的数学算法以及信号分析工具难以直接应用于这类数据上，是三维人脸处理的挑战之一。三维人脸曲面包含结构信息却并不包含纹理信息的特点使得三维人脸处理需要面对包括曲面质量、遮挡、特征点定位、一致性网格、识别、表情影响等问题。 本文在总结三维人脸处理的最新研究成果的基础上，从三维人脸特征点自动定位、三维人脸一致性对应关系的建立以及三维表情残差的提取这三个三维人脸处理的关键步骤展开研究。 本文的主要工作和贡献总结如下: 1.提出了一种三维人脸特征点自动定位方法 三维人脸特征点对于三维人脸处理非常重要，是三维人脸对齐与某些人脸处理算法求解的关键之一。本文提出了一种基于曲面划分、统计直方图的局部曲面描述子:SPIDER（Sphere Partition hIstogram DEscRiptor,球划分直方图描述子），并使用该描述子在GPU平台上实时定位三维人脸上绝大多数特征点。这部分还将全局约束算法与SPIDER描述子相结合，提高定位准确度。 2.提出了一种建立三维人脸稠密的一致性对应关系的SFD模型 建立人体测量学上的稠密的三维人脸一致性对应关系对于三维人脸处理具有重要的意义，将三维人脸规则化，便于数学算法以信号处理工具的使用，同时也为某些算法提供了求解约束。我们提出一种基于分块的稀疏表征算法的SFD(Sparse Facial Deformable)模型，该方法可以在通用人脸模型和输入的三维人脸模型间建立稠密的人体测量学上的一致性对应关系。该模型提出了几何形状约束和对应关系约束这两个约束条件，建立目标方程，使用不断地分步迭代求解的方式，逐步改变输入人脸上各个顶点的位置的，直至最后收敛，产生一个具有和通用模型相同拓扑结构的三维人脸模型，达到人体测量学上的一致性对应。 3.提出了一种基于联合字典的表情残差提取CERE模型和混合模式的曲面变形方法 三维人脸表情变化引起的曲面形变在表情处理中非常重要，在人脸识别、表情识别、去除和合成等多方面起着重要的作用。我们提出了一种CERE(Correlated-dictionary based Expression Residual Extract)模型基于稀疏表征，联合字典学习完成输入人脸向其相应的表情残差的映射，在提取更为准确的表情残差的同时，保持更多的个人信息。因此CERE模型能够应用于三维人脸表情去除以及合成。同时，针对曲面变形模型对低分辨率网格以及曲面高曲率部分无法准确拟合的情况，本文结合最近点法则与法向射线法则的长处，提出了一种基于混合模式（Hybrid）的曲面变形方法。混合模式通过不同模式间的转换分阶段逼近目标曲面，实验表明基于混合模式的曲面变形方法能够在高效的同时较好的拟合低分辨率网格和曲面的高曲率部分，减少三角面片退化和折叠。 4.提出了一种基于残差的表情去除以及合成的方法 表情去除以及合成在人脸识别、真实感建模以及我们的日常生活中非常重要，我们提出了一种基于表情残差的表情去除以及合成算法，能够有效的生成更接近真实人脸的结果。我们使用基于联合字典的表情残差提取模型提取出的三维人脸表情残差结合，包含了更多的个人信息，能够产生更加接近真实的中性人脸或者带表情人脸;同时，将刚性区域约束模板引入表情去除与合成的框架之中，以尽可能的减少噪声和异常值的产生，同时保持人脸刚性区域维持不变，实验表明，基于表情残差以及刚性区域约束模板的表情去除与合成方法能够获得更加接近真实的中性以及带表情人脸。