论文部分内容阅读
要说现在什么产品最热，那一定是虚拟现实（VR）了。随着最近Oculus Rift的推出，VR这股火烧得更旺了。但是Oculus只能解决人眼所看到的视界，就像那句广告词说的一样：“没声音，再好的戏也出不来”，没有3D音效的支持，VR的体验就会大打折扣。
说到3D音效方面，就不得不说MP3、AAC（高级音频编码）、H.264视频编码技术的发明者Fraunhofer。Fraunhofer-Gesellschaft集团下辖67个研究所，2.4万余名员工，年度研发预算超过21亿欧元。Fraunhofer IIS就是其主要针对音视频领域的研究所，目前，Fraunhofer IIS的技术已应用于全球超过80亿台设备。全球半数的电视机环绕声通过HE-AAC技术实现，而且HE-AAC还广泛应用于流媒体服务当中，而且已经成为行业标准。值得一提的是，Fraunhofer已经向超过1000家公司授权使用其音频编解码软件，其音频编解码技术已经集成到几乎所有的智能手机、平板电脑的系统中。
在近日举办的CCBN展会上，Fraunhofer IIS展示了能够给VR用户带来身临其境感受的Fraunhofer Cingo技术。
“为什么沉浸式声音对VR如此重要？”Fraunhofer IIS音频和多媒体营销传播总监马蒂斯·罗思（Matthias Rose）在接受记者采访时表示，“音频能够营造出至少50%的VR体验，如果声音画面不匹配，那么虚拟效果瞬间消失。如果声音处理得当，用户能够真正领略身临其境的VR体验。”
目前的VR 音频内容制作存在诸多的挑战：在3D 声音录制方面，需要经验丰富的声音设计师和录音师；在VR 后期制作方面，其制作过程允许在认知的环境范围内进行创意VR 的音频设计，但仅能凭借专用的VR混音工具；在VR 设备上的流媒体内容方面，需要非常高效的音频编解码器来传输音频声道和音频对象，从而实现声音的精准定位；在耳机上还放，要支持声像在上方或下方的定位，需要借助耳机和头部运动轨迹追踪技术。只有把上述问题都解决了，才能够给用户带来真正的VR体验。
罗思表示，在上述4个方面，Fraunhofer IIS都有成熟的解决方案，可以帮助内容制造商完成VR音频的生产制作和还放。目前，Fraunhofer IIS拥有成熟的、已经在美国阿斯彭冬季极限运动会上使用过的3D音频捕获技术。在后期制作方面，Fraunhofer VR音频制作工具可以在虚拟空间中动态放置基础声道（5.1声道和7.1声道）和声音对象。在传输方面，MPEG HE-AAC可以高效传输高质量的立体声或者5.1音效，而且免费提供给VR应用开发者使用，并支持几乎所有的移动平台和HTML5浏览器。在还放方面，Fraunhofer Cingo可以让用户仅使用立体声扬声器或头戴式耳机就可以享受到环绕声或3D声音，支持头部追踪，在任何方位和距离对音频对象进行还放，其响度优化功能能够将现有的立体声内容变得更为自然和清晰。
MPEG-H音频标准是Fraunhofer Cingo 3D音频还放的最佳拍档，它能够在当今传输2D环绕声使用的比特率下为移动设备传输身临其境的沉浸式3D声音。除了音频声道，MPEG-H还可以传递音频对象和高阶高保真环绕立体声信号。
“目前，Google Nexus智能手机和平板电脑、三星Gear VR、LG 360 VR已经采用了Fraunhofer Cingo技术。Google Play Movies、Korean Telecom、SK Telecom、LG U 等服务提供商已经通过Cingo实现了视频流媒体播放。”罗思在接受记者采访时表示。
说到3D音效方面，就不得不说MP3、AAC（高级音频编码）、H.264视频编码技术的发明者Fraunhofer。Fraunhofer-Gesellschaft集团下辖67个研究所，2.4万余名员工，年度研发预算超过21亿欧元。Fraunhofer IIS就是其主要针对音视频领域的研究所，目前，Fraunhofer IIS的技术已应用于全球超过80亿台设备。全球半数的电视机环绕声通过HE-AAC技术实现，而且HE-AAC还广泛应用于流媒体服务当中，而且已经成为行业标准。值得一提的是，Fraunhofer已经向超过1000家公司授权使用其音频编解码软件，其音频编解码技术已经集成到几乎所有的智能手机、平板电脑的系统中。
在近日举办的CCBN展会上，Fraunhofer IIS展示了能够给VR用户带来身临其境感受的Fraunhofer Cingo技术。
“为什么沉浸式声音对VR如此重要？”Fraunhofer IIS音频和多媒体营销传播总监马蒂斯·罗思（Matthias Rose）在接受记者采访时表示，“音频能够营造出至少50%的VR体验，如果声音画面不匹配，那么虚拟效果瞬间消失。如果声音处理得当，用户能够真正领略身临其境的VR体验。”
目前的VR 音频内容制作存在诸多的挑战：在3D 声音录制方面，需要经验丰富的声音设计师和录音师；在VR 后期制作方面，其制作过程允许在认知的环境范围内进行创意VR 的音频设计，但仅能凭借专用的VR混音工具；在VR 设备上的流媒体内容方面，需要非常高效的音频编解码器来传输音频声道和音频对象，从而实现声音的精准定位；在耳机上还放，要支持声像在上方或下方的定位，需要借助耳机和头部运动轨迹追踪技术。只有把上述问题都解决了，才能够给用户带来真正的VR体验。
罗思表示，在上述4个方面，Fraunhofer IIS都有成熟的解决方案，可以帮助内容制造商完成VR音频的生产制作和还放。目前，Fraunhofer IIS拥有成熟的、已经在美国阿斯彭冬季极限运动会上使用过的3D音频捕获技术。在后期制作方面，Fraunhofer VR音频制作工具可以在虚拟空间中动态放置基础声道（5.1声道和7.1声道）和声音对象。在传输方面，MPEG HE-AAC可以高效传输高质量的立体声或者5.1音效，而且免费提供给VR应用开发者使用，并支持几乎所有的移动平台和HTML5浏览器。在还放方面，Fraunhofer Cingo可以让用户仅使用立体声扬声器或头戴式耳机就可以享受到环绕声或3D声音，支持头部追踪，在任何方位和距离对音频对象进行还放，其响度优化功能能够将现有的立体声内容变得更为自然和清晰。
MPEG-H音频标准是Fraunhofer Cingo 3D音频还放的最佳拍档，它能够在当今传输2D环绕声使用的比特率下为移动设备传输身临其境的沉浸式3D声音。除了音频声道，MPEG-H还可以传递音频对象和高阶高保真环绕立体声信号。
“目前，Google Nexus智能手机和平板电脑、三星Gear VR、LG 360 VR已经采用了Fraunhofer Cingo技术。Google Play Movies、Korean Telecom、SK Telecom、LG U 等服务提供商已经通过Cingo实现了视频流媒体播放。”罗思在接受记者采访时表示。