论文部分内容阅读
人的表情,是日常生活中十分自然且富含寓意的交流手段,其作为人机交互与虚拟现实领域的重要研究课题已有数十年之久,但与手势语言与姿体动作相比,人脸表情的变化幅度相对较小,却包含大量信息,因此,人脸表情在商业上的应用案例并不算多。本文针对日本庆应义塾大学“Yasue Mitsukura"教授的人脸表情跟踪与实时动画还原项目与商业化的FaceRig软件进行分析与改进,旨在提高人脸表情跟踪的效率和姿态识别的稳定性,并降低该技术对硬件与环境的依赖,为表情跟踪与实时动画还原技术的稳定性与实用性做出贡献。本文的主要研究内容包括以下几个方面：查阅了表情跟踪与三维动画模拟的相关文献,分析了文献中的核心算法与优化方向,总结了表情跟踪与实时动画模拟该应用中的难题,这将包括初始跟踪点准确率,跟踪过程的速率与正确率,跟踪偏离时的措施,并整理出研究思路与实验方案。(1)为解决人脸特征点必须满足合理的形状姿态,本文使用ASM算法进行人脸表情跟踪与实时动画渲染。利用面部中的几个主要特征点的信息,还原出人脸朝向、人脸倾斜、眼睛闭合、口部与眉毛的动作。(2)对ASM中的形状模型进行研究与改造,整合了成单一的低维投影矩阵,使算法流程耗时简洁并快速。(3)使用梯度下降法进行ASM纹理模型的训练,加快了训练速度与训练的质量。(4)对ASM跟踪算法的初始化模块进行优化,使用灰度投影法进行人眼定位,将快速与准确的人眼坐标值作为ASM的初始化值,并周期性重复使用人眼定位算法进行跟踪校准,以提高ASM骨架跟踪的鲁棒性。(5)针对新的一帧特征点位置的搜索问题,本文尝试使用多次不同大小的模板匹配方法进行特征点搜索。提高了整个跟踪算法的准确率。(6)针对目前二维姿态识别算法的检测范围偏小,本文使用了新的算法进行姿态解算,并提升了姿态还原的准确率。本文的创新之处体现在两个方面,一是对ASM跟踪算法的各模块进行了细节上的优化,二是提出新的姿态还原算法。