论文部分内容阅读
人脸建模和动画在动画制作、人机交互、医疗和教育等领域都具有重要的应用和研究价值。本文以基于图像的快速、自动个性化人脸建模和动画为主要研究内容，围绕其中的关键点控制的快速建模、自动化形变模型重建、形状无关纹理重建、以及快速人脸动画重映射等方面展开了研究。主要研究工作和贡献如下：
1.提出了一种关键点控制下的快速个性化人脸建模方法。在输入是单张正面人脸图像的条件下，自动检测和标定目标图像中的关键点位置，从关键点的二维坐标迭代计算其三维空间坐标。利用关键点信息和径向基函数变形预定义的三维人脸模型，获取个性化网格。在网格确定后，计算顶点存图像上的正投影坐标，根据输入图像生成个性化纹理。生成的人脸模型具有一定的真实感，可以应用于多人在线的网络游戏。
2.提出了基于单张照片的全自动个性化人脸建模方法。对于输入图像非正脸且光照非均匀的条件下，仅依靠人脸检测的结果自动初始化参数，再根据统计的三维人脸信息迭代修正图像参数和模型参数，最终达到渲染图像与输入图像匹配的结果，从而实现自动化的个性化人脸模型重建。引入规则网格作为模型的标准结构，方便了归一化样本和纹理生成。迭代过程采用分阶段方式，不但能加快迭代速度，还能够消除由于前景和背景相似引起的局部收敛。
3.提出了以形状无关纹理为匹配目标重建个性化模型的方法。对于渲染图匹配法重建存在的关键点定位不准等问题，引入以形状无关纹理作为匹配目标，从而消除姿态、形状变化对像素权重的影响。提出以视角图控制形状无关纹理的迭代系数，能够解决渲染图匹配方法中关键点不易对齐的问题。进而把视角图引入纹理合成过程中，能够最大限度的利用输入图像中有效的细节信息，提升合成纹理的效果。
4.提出基于球面参数化的稀疏关键点动画重映射方法，使用关键点网格的三角形重心坐标对运动数据进行差值，只需要在Motion capture系统中标定少量关键点并采集动画数据，就可以快速映射到封闭或半封闭的人脸模型上。使用较少的标记点可以缓解系统精度和处理速度间的矛盾，还保证了表演者的舒适度，结合个性化建模的结果就能够生成具有真实感的个性化人脸表情动画。