论文部分内容阅读
【摘要】运动捕捉技术最显著的优势在于可以大幅提高影视动画的创作效率。本文详细介绍了运动捕捉技术的诞生源头和背景以及在影视创作中的发展历史。
【关键词】光学式运动捕捉；影视创作；影视特效
【中图分类号】J931 【文献标识码】A
一、起源
运动捕捉技术起源于人类对科学的探索。早在十七世纪初，意大利数学教授乔瓦尼·阿方索·博雷利对生物的运动有了很大的研究兴趣，并将其研究成果发布在《Aristotle’s De Motu Animalium》一书中[1]。他重点分析了肌肉的运动、四肢的运动以及人与动物的运动，包括滑冰、跑步、跳跃、游泳和飞行等，开启了人体运动的力学研究。19世纪，英国摄影师德沃德·迈布里奇是第一位拍摄并研究运动中的人类和动物而著名的摄影师。他拍摄了很多人、马和飞鸟的运动系列，第一次捕捉到人眼以前看不到的图像。例如，没有人知道当一匹马运动时，在某个时间点上，四条腿都同时离开了地面。这些运动的动力学研究很快服务于电影制作者。
二、雏形
1914年，动画师马克思·弗莱舍发明了转描机技术。它的原理是将真人的真实运动转换为连续的帧投射到塞璐璐片或纸上，以至于动画师能够一帧一帧地转描它，捕获角色的真实运动。简单来说就是一套摄影机装置，把胶片投影到动画师的桌面上，让动画师能够拓画下来[2]。弗莱舍在1915年创作的《墨水瓶人》就是利用转描机和动画技术制作出来的。
瓦特迪士尼公司是转描机技术的伟大实践者。1937年，迪士尼公司发布了它们的第一部长篇动画电影《白雪公主和七个小矮人》，电影中公主、王后、猎人和王子这几个角色均使用了转描技术。为了更好地刻画公主的角色动作，迪士尼公司聘请了一位会跳舞的女孩作为白雪公主背后的真人舞者，使卡通角色的表演像真人一样。这部片子让迪士尼公司一战成名，迪士尼后来使用转描技术制作了多部电影如《彼得潘》《爱丽丝漫游仙境》和《睡美人》等。
三、产生
1940-1990年间，运动捕捉技术在电影制作上一直没有太多实质的发展，转描技术还在继续使用，但相关的科学研究还在继续。1969年，Polhemus[3]工作组建造了第一个电磁运动捕捉系统，主要用于军事研究，即跟踪飞行员的头部运动。该系统使用传感器附着到人体，将它们的运动记录为3D数据。20世纪80年代，机械传感器设备得到广泛应用。生物动力学专家为了医学研究，开始用它进行动作捕捉以研究人体关节的机能。同时，通过电脑实现的针对人体运动捕捉的研究开始出现，美国麻省理工学院开发的基于LED的“木偶图像化（Graphical Marionette）”技术是第一批光学动作跟踪系统[4]。进入90 年代后，随着计算机软硬件技术的发展，运动捕捉已经进入了实用阶段，有多家厂商相继推出了多种商品化的运动捕捉设备，如Motion-Analysis、Sega nteractive、Polhemus、FilmBox等，成功地用于考古、医学研究、人体工程学研究、模拟训练、游戏等许多方面。这期间相继出现的机械式、电磁式和光学式运动捕捉系统中，机械式、电磁式动作捕捉技术因设备方面及捕捉精度上的限制，很少被电影从业者使用。直到基于LED灯的光学动作捕捉技术出现，电影中的动作捕捉技术才开始应用。
好莱坞很快使用了光学运动捕捉技术。第一部尝试使用运动捕捉的电影是1990年的《全面回忆》，片中施瓦辛格饰演的男主角经过X射线时的特效镜头就是运动捕捉的，该镜头仅有几秒钟。主演阿诺德·施瓦辛格身穿紧身黑色健身服，将很多个球状反射光传感器放在他的身上，这些球将反光到摄像机中显示成一个点。从设置的6-8个相机，可以看到阿诺德在摄像头中的动作。但存在的问题是捕捉框中的人和反光球都太小，并且这些球都靠得很近。当时的计算机技术并不能在同一时刻辨别它们，只有将这些投影动作提取出来，再人工进行关键帧的匹配。由于当时没有CG的概念，动作匹配的过程又太复杂，因此，当时的主创人员产生了创建CG骨骼，以便能够将演员的动作逐帧映射到CG上的思想[5]。到了1996年，詹姆斯·卡梅隆在制作《泰坦尼克号》时也小范围试用了运动捕捉，借助动作捕捉技术建立了人物动作库，并由此生成了一大群形态各异的CG人物。1999年，雷德利·斯科特在《角斗士》中动作捕捉了2000名扮演角斗士的演员，并把他们复制到现实的人群场景中。
2000年，印度首屈一指的电脑特效公司Pentafour制作出品了《仙巴历险记》，这是动画电影上的一个重要里程碑。这是第一部主要使用运动捕捉的电影，大部分的角色运动使用开创性的3D光学运动捕捉技术vicon370E系统，利用光学相机以数字方式记录真人的运动[6]。在制作过程中，演员身上覆盖着很多微小参考标记点在照相机面前表演，再将捕获的数据交由印度的PunaFul CG工作室处理。然而，虽然能够拍摄所有的镜头，但无法同步视频和捕捉的速率，因为当时还没有时间编码的概念，还没有光学系统能够生成它，尽管它是制作工作的一個非常重要的方面。另外，捕捉时还有很多困难需要克服，比如标记点很容易丢失到地上和重置，这样就很难保证捕捉动作的一致性。因此，这部电影只是宣告了一种新的发展轨迹，但当时的技术与今天相比差异很大。
四、探索
运动捕捉技术逐渐成为有远见的电影制作人的必备工具。2001年7月，《最终幻想：灵魂深处》的上映吸引了全球的注意。负责本片制作的是史克威尔电影工作室，这部电影是该公司的处女作。史克威尔电影工作室改变了传统电影制作方式，将片子中的CG人物全部按照真人比例制作，而之前好莱坞CG动画电影中的人物一直在贯彻卡通电影夸张的肢体语言来突出趣味性。为了给CG人物带来生命，制作小组采用运动捕捉技术搭建起一座16000平方英尺的舞台，16架专业摄像机各司其职，录制演员的奔跑、跳跃和跌倒动作。《最终幻想》把CG画面做到了极致，取得了令人难以置信的效果，逼真的人物皮肤、毛发和场景的布光等甚至都成为了专业教科书的范例，然而剧情深受诟病。尽管如此，它在运动捕捉的进化史上也是一个技术里程碑的电影，推动了运动捕捉技术的发展，人们第一次认识到，通过动作捕捉技术及其他新兴技术可以将CG画面做得如此真实，从而开启了一个由虚拟人物取代真人演员的电影领域新时代。 同年，彼得·杰克逊在指环王系列电影的第一部《指环王：护戒使者》中开始涉足运动捕捉技术。彼得杰克逊和他的维塔数码特效公司使用了3个阶段来创造咕噜姆。首先，扮演咕噜姆的演员安迪·瑟可丝将在场景中和其他的演员进行表演，同样的场景也会在没有瑟可丝的情况下再次上演，最后瑟可丝会在维塔工作室里一个人穿着捕捉服和标记点、对着空气重复自己的表演，也就是说，瑟可丝要在实景和空房间里表演两次同样的内容，这对演员的挑战是非常大的。在工作室阶段，25个摄像头被放置在动作捕捉房间里，摄像头发出红外光，照射在瑟可丝布满光学反射点的动作捕捉服上，然后反射这些光到照相机上，同步这些动作到计算机并赋予到演员的3D模型上。《指环王：护戒使者》获得了巨大的成功，安迪·瑟可丝为咕噜姆这个角色赋予了鲜活的生命力，打破了CG和传统表演之间的界限。在这个过程中，运动捕捉只能捕捉演员的动作， 不能记录演员的面部表情动作，他们依靠一个由18名动画师组成的团队创建了超过250种不同的面部数字模型，从而得到一个与演员非常接近的咕噜姆。
五、蓬勃发展
《阿凡达》的大获成功，是动作捕捉成为电影大片制作的必备武器。这时的动作捕捉已经比较精准，面部表情捕捉也比较成熟，但电影制作者们在纷纷使用这些技术的同时还不断地进行创新。2011年，维塔数码参与制作的《猩球崛起》上映。为了彻底克服在室外拍摄时阳光的干扰，维塔数码对光学式动作捕捉系统进行了改进。传统的光学动作捕捉使用被动式标记点，即由捕捉摄像机上的LED灯发出红外光，照射到标记点后反射回摄影机。但是这种反射式系统几乎无法用于实景环境中，一个原因是实景中有各种道具反光的干扰，另一个原因是如此庞大复杂的摄像机矩阵难以在各种实景环境中搭建。对此，维塔数码将被动式光学捕捉系统改造成主动式光学捕捉系统。他们将反光标记点换成主动发射红外光的LED灯，再用红外摄像机来进行数据捕捉。由于光线没有经过反射过程的能量衰减，所以，主动式捕捉可以获得更大的有效范围。不过，主动式LED体积较大，无法用于面部捕捉，而且标记点数量多了之后容易相互干扰。因此，在面部捕捉方面，由于人类和猩猩面部结构较为接近，所以维塔继续使用头戴式表情捕捉系统（被动式LED反射系统），在演员脸上画上标记点，然后用高清摄像头录制下来，保证了动作捕捉与表情捕捉同时进行。另外，为了保证大量捕捉点之间互不干扰，维塔对LED做出改进，使LED进行频闪发光而不是持续发光，不同的标记点之间闪烁频率不一样，使用无线电同步到高速摄像机之后，就能很快分辨出捕捉到的是哪个点。经过这一系列的改进之后，《猩球崛起》终于突破了动作捕捉和实景表演之间的界限，新的实景捕捉系统可以应对各种复杂的环境和灯光。
到了2015年《猩球崛起2》时，维塔数码再次实现了技术上的突破，在这部电影中，动作捕捉服上用硅材料封装了更强大的LED灯——不仅让演员能做更多动作，更重要的是即使在黑暗环境中，如森林或夜间也会方便动作读取。无线摄影机让团队更加自由灵活，他们不用铺设电缆、布置电线，就可以更快地设置校准背景。
参考文献：
[1] Nussbaum，Martha Craven（1978）.Aristotle’s De Motu Animalium：text with translation，commentary and interpretive essays.Princeton，NJ：Princeton University Press.
[2] FLEISCHER，M.，1917.Method of Producing Moving Picture Cartoons，US Patent no.1，242，674.
[3] http：//plihemus.com.
[4] Carol M.Ginsberg and Delle Maxwell，“Graphical marionette，”Proc.ACM SIGGRAPH/SIGART Workshop on Motion，ACM Press，New York，April 1983：172-179.
[5] Ian Failes，Recalling Total Recall，https：//www.fxguide.com，June 4，2015.
[6] Alberto Menache，Understanding Motion Capture for Computer Animation and Video Games，Morgan Kaufmann，2000.
作者简介：朱永琼（1978-），女，汉族，湖北武汉人，博士，讲师，研究方向：运动捕捉、数字媒体艺术方面的研究。
基金项目：教育部人文社会科学研究青年基金项目（项目编号：17YJC760124）“运动捕捉技术在三维动画创作中的研究”资助项目。
【关键词】光学式运动捕捉；影视创作；影视特效
【中图分类号】J931 【文献标识码】A
一、起源
运动捕捉技术起源于人类对科学的探索。早在十七世纪初，意大利数学教授乔瓦尼·阿方索·博雷利对生物的运动有了很大的研究兴趣，并将其研究成果发布在《Aristotle’s De Motu Animalium》一书中[1]。他重点分析了肌肉的运动、四肢的运动以及人与动物的运动，包括滑冰、跑步、跳跃、游泳和飞行等，开启了人体运动的力学研究。19世纪，英国摄影师德沃德·迈布里奇是第一位拍摄并研究运动中的人类和动物而著名的摄影师。他拍摄了很多人、马和飞鸟的运动系列，第一次捕捉到人眼以前看不到的图像。例如，没有人知道当一匹马运动时，在某个时间点上，四条腿都同时离开了地面。这些运动的动力学研究很快服务于电影制作者。
二、雏形
1914年，动画师马克思·弗莱舍发明了转描机技术。它的原理是将真人的真实运动转换为连续的帧投射到塞璐璐片或纸上，以至于动画师能够一帧一帧地转描它，捕获角色的真实运动。简单来说就是一套摄影机装置，把胶片投影到动画师的桌面上，让动画师能够拓画下来[2]。弗莱舍在1915年创作的《墨水瓶人》就是利用转描机和动画技术制作出来的。
瓦特迪士尼公司是转描机技术的伟大实践者。1937年，迪士尼公司发布了它们的第一部长篇动画电影《白雪公主和七个小矮人》，电影中公主、王后、猎人和王子这几个角色均使用了转描技术。为了更好地刻画公主的角色动作，迪士尼公司聘请了一位会跳舞的女孩作为白雪公主背后的真人舞者，使卡通角色的表演像真人一样。这部片子让迪士尼公司一战成名，迪士尼后来使用转描技术制作了多部电影如《彼得潘》《爱丽丝漫游仙境》和《睡美人》等。
三、产生
1940-1990年间，运动捕捉技术在电影制作上一直没有太多实质的发展，转描技术还在继续使用，但相关的科学研究还在继续。1969年，Polhemus[3]工作组建造了第一个电磁运动捕捉系统，主要用于军事研究，即跟踪飞行员的头部运动。该系统使用传感器附着到人体，将它们的运动记录为3D数据。20世纪80年代，机械传感器设备得到广泛应用。生物动力学专家为了医学研究，开始用它进行动作捕捉以研究人体关节的机能。同时，通过电脑实现的针对人体运动捕捉的研究开始出现，美国麻省理工学院开发的基于LED的“木偶图像化（Graphical Marionette）”技术是第一批光学动作跟踪系统[4]。进入90 年代后，随着计算机软硬件技术的发展，运动捕捉已经进入了实用阶段，有多家厂商相继推出了多种商品化的运动捕捉设备，如Motion-Analysis、Sega nteractive、Polhemus、FilmBox等，成功地用于考古、医学研究、人体工程学研究、模拟训练、游戏等许多方面。这期间相继出现的机械式、电磁式和光学式运动捕捉系统中，机械式、电磁式动作捕捉技术因设备方面及捕捉精度上的限制，很少被电影从业者使用。直到基于LED灯的光学动作捕捉技术出现，电影中的动作捕捉技术才开始应用。
好莱坞很快使用了光学运动捕捉技术。第一部尝试使用运动捕捉的电影是1990年的《全面回忆》，片中施瓦辛格饰演的男主角经过X射线时的特效镜头就是运动捕捉的，该镜头仅有几秒钟。主演阿诺德·施瓦辛格身穿紧身黑色健身服，将很多个球状反射光传感器放在他的身上，这些球将反光到摄像机中显示成一个点。从设置的6-8个相机，可以看到阿诺德在摄像头中的动作。但存在的问题是捕捉框中的人和反光球都太小，并且这些球都靠得很近。当时的计算机技术并不能在同一时刻辨别它们，只有将这些投影动作提取出来，再人工进行关键帧的匹配。由于当时没有CG的概念，动作匹配的过程又太复杂，因此，当时的主创人员产生了创建CG骨骼，以便能够将演员的动作逐帧映射到CG上的思想[5]。到了1996年，詹姆斯·卡梅隆在制作《泰坦尼克号》时也小范围试用了运动捕捉，借助动作捕捉技术建立了人物动作库，并由此生成了一大群形态各异的CG人物。1999年，雷德利·斯科特在《角斗士》中动作捕捉了2000名扮演角斗士的演员，并把他们复制到现实的人群场景中。
2000年，印度首屈一指的电脑特效公司Pentafour制作出品了《仙巴历险记》，这是动画电影上的一个重要里程碑。这是第一部主要使用运动捕捉的电影，大部分的角色运动使用开创性的3D光学运动捕捉技术vicon370E系统，利用光学相机以数字方式记录真人的运动[6]。在制作过程中，演员身上覆盖着很多微小参考标记点在照相机面前表演，再将捕获的数据交由印度的PunaFul CG工作室处理。然而，虽然能够拍摄所有的镜头，但无法同步视频和捕捉的速率，因为当时还没有时间编码的概念，还没有光学系统能够生成它，尽管它是制作工作的一個非常重要的方面。另外，捕捉时还有很多困难需要克服，比如标记点很容易丢失到地上和重置，这样就很难保证捕捉动作的一致性。因此，这部电影只是宣告了一种新的发展轨迹，但当时的技术与今天相比差异很大。
四、探索
运动捕捉技术逐渐成为有远见的电影制作人的必备工具。2001年7月，《最终幻想：灵魂深处》的上映吸引了全球的注意。负责本片制作的是史克威尔电影工作室，这部电影是该公司的处女作。史克威尔电影工作室改变了传统电影制作方式，将片子中的CG人物全部按照真人比例制作，而之前好莱坞CG动画电影中的人物一直在贯彻卡通电影夸张的肢体语言来突出趣味性。为了给CG人物带来生命，制作小组采用运动捕捉技术搭建起一座16000平方英尺的舞台，16架专业摄像机各司其职，录制演员的奔跑、跳跃和跌倒动作。《最终幻想》把CG画面做到了极致，取得了令人难以置信的效果，逼真的人物皮肤、毛发和场景的布光等甚至都成为了专业教科书的范例，然而剧情深受诟病。尽管如此，它在运动捕捉的进化史上也是一个技术里程碑的电影，推动了运动捕捉技术的发展，人们第一次认识到，通过动作捕捉技术及其他新兴技术可以将CG画面做得如此真实，从而开启了一个由虚拟人物取代真人演员的电影领域新时代。 同年，彼得·杰克逊在指环王系列电影的第一部《指环王：护戒使者》中开始涉足运动捕捉技术。彼得杰克逊和他的维塔数码特效公司使用了3个阶段来创造咕噜姆。首先，扮演咕噜姆的演员安迪·瑟可丝将在场景中和其他的演员进行表演，同样的场景也会在没有瑟可丝的情况下再次上演，最后瑟可丝会在维塔工作室里一个人穿着捕捉服和标记点、对着空气重复自己的表演，也就是说，瑟可丝要在实景和空房间里表演两次同样的内容，这对演员的挑战是非常大的。在工作室阶段，25个摄像头被放置在动作捕捉房间里，摄像头发出红外光，照射在瑟可丝布满光学反射点的动作捕捉服上，然后反射这些光到照相机上，同步这些动作到计算机并赋予到演员的3D模型上。《指环王：护戒使者》获得了巨大的成功，安迪·瑟可丝为咕噜姆这个角色赋予了鲜活的生命力，打破了CG和传统表演之间的界限。在这个过程中，运动捕捉只能捕捉演员的动作， 不能记录演员的面部表情动作，他们依靠一个由18名动画师组成的团队创建了超过250种不同的面部数字模型，从而得到一个与演员非常接近的咕噜姆。
五、蓬勃发展
《阿凡达》的大获成功，是动作捕捉成为电影大片制作的必备武器。这时的动作捕捉已经比较精准，面部表情捕捉也比较成熟，但电影制作者们在纷纷使用这些技术的同时还不断地进行创新。2011年，维塔数码参与制作的《猩球崛起》上映。为了彻底克服在室外拍摄时阳光的干扰，维塔数码对光学式动作捕捉系统进行了改进。传统的光学动作捕捉使用被动式标记点，即由捕捉摄像机上的LED灯发出红外光，照射到标记点后反射回摄影机。但是这种反射式系统几乎无法用于实景环境中，一个原因是实景中有各种道具反光的干扰，另一个原因是如此庞大复杂的摄像机矩阵难以在各种实景环境中搭建。对此，维塔数码将被动式光学捕捉系统改造成主动式光学捕捉系统。他们将反光标记点换成主动发射红外光的LED灯，再用红外摄像机来进行数据捕捉。由于光线没有经过反射过程的能量衰减，所以，主动式捕捉可以获得更大的有效范围。不过，主动式LED体积较大，无法用于面部捕捉，而且标记点数量多了之后容易相互干扰。因此，在面部捕捉方面，由于人类和猩猩面部结构较为接近，所以维塔继续使用头戴式表情捕捉系统（被动式LED反射系统），在演员脸上画上标记点，然后用高清摄像头录制下来，保证了动作捕捉与表情捕捉同时进行。另外，为了保证大量捕捉点之间互不干扰，维塔对LED做出改进，使LED进行频闪发光而不是持续发光，不同的标记点之间闪烁频率不一样，使用无线电同步到高速摄像机之后，就能很快分辨出捕捉到的是哪个点。经过这一系列的改进之后，《猩球崛起》终于突破了动作捕捉和实景表演之间的界限，新的实景捕捉系统可以应对各种复杂的环境和灯光。
到了2015年《猩球崛起2》时，维塔数码再次实现了技术上的突破，在这部电影中，动作捕捉服上用硅材料封装了更强大的LED灯——不仅让演员能做更多动作，更重要的是即使在黑暗环境中，如森林或夜间也会方便动作读取。无线摄影机让团队更加自由灵活，他们不用铺设电缆、布置电线，就可以更快地设置校准背景。
参考文献：
[1] Nussbaum，Martha Craven（1978）.Aristotle’s De Motu Animalium：text with translation，commentary and interpretive essays.Princeton，NJ：Princeton University Press.
[2] FLEISCHER，M.，1917.Method of Producing Moving Picture Cartoons，US Patent no.1，242，674.
[3] http：//plihemus.com.
[4] Carol M.Ginsberg and Delle Maxwell，“Graphical marionette，”Proc.ACM SIGGRAPH/SIGART Workshop on Motion，ACM Press，New York，April 1983：172-179.
[5] Ian Failes，Recalling Total Recall，https：//www.fxguide.com，June 4，2015.
[6] Alberto Menache，Understanding Motion Capture for Computer Animation and Video Games，Morgan Kaufmann，2000.
作者简介：朱永琼（1978-），女，汉族，湖北武汉人，博士，讲师，研究方向：运动捕捉、数字媒体艺术方面的研究。
基金项目：教育部人文社会科学研究青年基金项目（项目编号：17YJC760124）“运动捕捉技术在三维动画创作中的研究”资助项目。