论文部分内容阅读
自二十世纪六十年代以来，计算机动画发展迅速，其中的人脸表情动画是动画领域的重要组成部分。而传统的表情动画的自动生成方法耗时耗力，低成本的表情动画的自动生成方法一直是研究热点。其中视频驱动人脸动画研究是成本最低的动画生成方法，由于其缺失了深度信息，有光线干扰等原因，其生成的表情最粗糙，依然有很大的提升空间。基于此，本文主要研究如何提升视频驱动人脸动画的准确度和精细度。本文具体对增加表情细节的视频驱动人脸动画方法进行研究，首先研究视频驱动人脸大尺度表情动画，然后研究如何通过单帧视频或单张照片重建带有几何细节的人脸表情模型，最后通过扫描实例来优化表情基模型以增强最终动画结果的效果。所取得的研究成果如下: (1)基于语义表情基的视频驱动人脸动画 传统的视频驱动人脸动画以2D特征点作为表情的定义，使用的特征点位置与追踪到人脸特征点匹配作为优化目标来求解表情参数。而2D人脸特征点一般带有很大噪声，与头部姿态容易耦合;同时将所有表情参数不加区分的同时求解方式，忽略了不同区域之间表情参数互不影响和表情参数重要性区分，不能够求解出准确的表情参数，使最终生成的表情动画对视频中表情运动并不敏感。针对上述问题，本文提出了基于语义表情基的视频驱动人脸动画方法。 a、我们提出一种基于2D人脸特征点的语义表情定义方法，该方法考虑追踪到的二维人脸特征点在器官边缘处能够得到较稳定的人脸特征点，而在人脸轮廓处得到较不准确的特征点，挑选和增强稳定特征点之间的关系，剔除和弱化不稳定特征点之间的关系来增强表情估算的稳定性。 b、我们结合表情基的特性，提出表情参数化的分区优化方法。考虑每个表情基都只在一个局部的区域内变动，而其它区域尽量保持不动，我们将这些变动的区域划分为几大块。这样每个区域内的表情基变动相互影响，而不同区域的表情基变动互不影响。根据这个区域划分，我们采用分区表情参数化的方法，即同一区域的表情参数放在一起优化，并且添加参数加和不超过常数的约束;而不同区域之间的表情参数则没有相互关系的约束。这样我们在每个分区域可以估算更加准确的人脸表情。 c、结合表情重要性排序，提出表情参数化的分步优化方法。考虑不同表情基重要性是不同的，但是逐个表情基按照不同的重要性来优化表情参数则大大降低估算表情动画的效率，违背了我们要实时驱动人脸动画的初衷。我们结合上述分区划分，将不同区的表情基按照其所属于的区域的重要性来优化表情参数，这样既能考虑表情基的重要程度不同，又保证了表情动画估算的速度。 (2)单张图片重建带有几何细节的人脸模型 从单目相机拍摄的视频或图像中重建人脸表情，只能重建大尺度的人脸表情。基于数据的方法可以生成稳定的大尺度表情，但是在头部姿态估算和表情估算的准确度上还远远不够。明暗重建形状方法可以从图片中重建几何细节，但是由于边界处法向量变化急剧，估算的深度信息在边界处还存在很大误差。 a、我们提出一种多初值的头部姿态优化方法来增加头部姿态估计的准确性。由于人脸追踪的二维特征点的稀疏性，以及其本身具备一些噪声，仅仅以这个匹配作为优化目标将会有非常多局部最优解。因此我们使用多初值的方法，每个初值都将收敛到一个局部最优解，我们取前几个误差最小的解做平均作为最优解，以此得到更稳定的最优解。 b、我们提出一种二维稀疏特征点驱动的人脸变形方法。我们使用拉普拉斯变形，将二维特征点与合成的粗略表情之间的差异传播到其它非特征点位置上去。并且在变形时，考虑深度值尽可能保持与原模型相近来保证变形的平滑性。这样就可以突破表情基空间的局限，并且对表情基生成的准确性要求也大大降低。 c、我们可以使用基于常量假设的明暗重建形状方法，将2D图像中人脸上的细节（例如法令纹、酒窝等）重建成3D几何信息。考虑到模型的法向量可由深度图计算得到，而在边界处的深度急剧变化导致边界处法向量带有很大的误差，需要对其进行强边界约束。但是由于图像中头部姿态各异，边界无法快速判断。我们基于人脸平缓变化这一观察，提出基于常量假设的方法来解决这个问题。 (3)基于扫描实例的个性化表情基生成 传统的变形生成表情基的方法没有考虑表情基的合理性问题，而基于数据生成表情基方法没有考虑表情基的个性化问题。少数考虑了个性化表情基的方法，则没有考虑如何从不同拓扑的实例来优化表情基。 本文提供了一个基于扫描实例的表情基优化方法。我们的方法首先通过手工点选的稀疏点云建立扫描实例与表情基模型的对应关系，通过求解表情参数获得与表情基模型相同网格结构的近似表情，通过迭代最近点方法和中位数倍数阈值来建立扫描实例与表情基模型的逐点对应关系，最后通过迭代表情参数与表情基的方式逐步获得个性化的表情基。