论文部分内容阅读
本文研究了从视频中跟踪复杂的非刚体运动的方法，以及从视频中提取可以用于动画合成的人脸面部运动参数的方法。文中的主要成果包括：
1.提出了概率主动轮廓模型以稳定的跟踪复杂纹理背景中非刚体变形物体的细致轮廓。概率主动轮廓模型的基本思想是将概率跟踪框架和时空主动轮廓线模型结合起来。概率跟踪的方法无需直接根据图象特征通过确定性的优化搜索算法来得到跟踪结果，而是采用一种多假设的预测一验证机制，从而提供了一种在复杂图象背景或图象特征不足条件下进行稳定跟踪的框架。主动轮廓线模型是一种合适的细致轮廓的优化搜索方法，在多假设的概率跟踪框架下，可以通过噪声模型在较大范围内合理的散布多个假设轮廓的分布，而每个假设轮廓都可以在主动轮廓模型的作用下进行细致演化，从而提高了算法在大帧间运动情况下细致轮廓跟踪的准确性。文中将概率主动轮廓模型应用到发音的嘴唇外轮廓的跟踪问题中，并通过实验得到了结果。
2.提出了基于非刚体变形物体本质结构学习的本质跟踪方法，以跟踪在存在图象噪声或图象特征不足情况下复杂非刚体运动的物体。本质跟踪方法的基本思想是学习非刚体运动变形的低维本质表示，同时在得到了低维本质表示的基础上通过模型分解以及训练学习再得到物体的本质动态模型，并应用到概率跟踪的框架中。本质跟踪的有效性主要就在于通过非线性降维所得到的低维本质状态的每一个维度都反映了复杂非刚体变形的一个主要的连续非线性变形模式，这样使得跟踪问题的状态空间被限制在一个合理的低维非线性流形上，从而简化了状态的搜索/求解过程。同时，根据训练所得到的本质动态模型具有混合高斯的形式，可以灵活有效的预测自主运动的物体状态。通过鱼轮廓的跟踪实验表明，本质跟踪算法在跟踪复杂变形的轮廓如无帧间对应的轮廓变形时比现有算法的准确性大大提高。
3.提出了基于本质面部变形空间和3D模型的本质面部运动跟踪算法。本质面部运动跟踪算法的基本思想是将本质跟踪算法应用到基于3D模型的人脸面部运动跟踪中，以解决头部自由运动情况下长时、稳定的面部运动跟踪问题。通过采用3D人脸模型的整体约束，以及通过采集大量的真实人脸面部运动数据来学习得到的紧凑的本质面部变形空间约束，并结合分区域的面部图象特征度量方法来分离刚体运动与非刚体运动的图像度量信息，达到了头部旋转运动与面部非刚体运动的自然分离。同时，采用分区域的面部图象特征度量方法也可以有效的去除和要跟踪的面部运动无关的图像纹理变化，并对与要跟踪的面部运动相关的图像纹理变化进行分区域加权，从而提高图象度量的有效性。通过对合成与真实视频的跟踪实验表明，本质面部运动跟踪算法能够稳定而长时的跟踪表情和说话人序列。
4.在以上研究成果的基础上建立了包括人脸建模、面部运动跟踪和个性化3D人脸动画的人脸数据综合处理系统。该系统采用了MPEG4兼容的参数定义，可根据不同的输入数据(3D扫描仪或多视角图象)快速建立人脸3D模型；其中采用了两种不同的方式跟踪人脸面部运动，以所获得的人脸面部运动参数可以进行真实感的人脸动画合成。