比如一家环绕立体声影院,它会在观众的周围放置很多音箱/扬声器。如果画面左边出现了爆炸,那么左边的音箱会发出声响,而不是右边。由于播放器的位置固定,听众只有在固定的点,才能听到模拟得最真实的声场。
▲真正的沉浸体验,来自于高中低音频在空间内全方位的还原,即以人头为中心收录一个球形内所有角度的声音,并进行还原。
如何解决这个问题?计算成为了重中之重。
在双耳录音技术取到的声音之后,还原HRTF,然后进行计算,把各个方向的HRTF还原,才能合成一套随着转头、位置移动声场自然发生变化的空间音频。
在这三个环节中——收音、录音;计算、渲染(processing, rendering);回放——技术壁垒最强的地方在于计算环节。
核心算法是考验各家空间音频公司的能力指标。Two Big Ears的公司广告语说明了一切:"We do mathematics so you can focus on being awesome."(我们做数学,你来好好做酷的事情。)这家位于爱尔兰的公司目前在空间音频技术上处于领先地位。
有些团队则为了减轻计算量,用了一些比较笨的办法。比如3dio,他们创造出收音设备,可以尽可能地在同一时间录到各个方向的HRTF。
▲3dio公司生产的四对仿真人耳的收音设备
▲The Verge在短片Hear New York in 3D Audio中展示他们所用的收音设备——仿真人耳,这个收音设备能够模拟声音在耳朵这种独特物理结构下的的传输过程,进而重现纽约街头的实景声音。
通常,三个指标可以用来判断一家公司3D音频核心算法技术水平:
Localization:指的是声音的定位。环绕立体声对于声音的平面360度有较好的模拟效果,而对于上下360度则难以模拟。VR音频的难点也在于做出上下360度的声音模拟。能做到上下逼真的则技术更为先进。
Propagation:声音在封闭空间中,不是只传输一次,而是有无数次的反射(bounce back),我们可以用回音来理解。Propagation用来描述是否能让用户感觉到自己的确在一个真实的空间中,这种真实感越强越好。
Occlusion:声音在传输过程中,如果中间有一个障碍物,这个障碍物会对声音的传播产生影响。如果一个VR音频技术可以对障碍物对于声音的影响模拟得很好,则是一个做得好的VR音频。
除去以上三点,目前空间音频最前沿的解决方案是Ambisonic技术。于是,能不能做Ambisonic也是判断一家公司技术高低的指标。
Ambisonic同样是一种声场模拟手段,但它更考验团队物理、数学和计算机的综合能力。如果我们把空间中某一个接收声音的位置想象成一个充着气的气球,那么空间中各处传来的声波会对这只气球表面产生作用力。
Ambisonic利用这个简单道理,在空间中摆放一堆扬声器,来模拟对应现实情况下各处声波对这只气球的作用力,然后计算,还原HRTF。
通过Ambisonic得到的音频数据,是最全面的数据,它可以降解到任何其他音频格式。打个比方,Ambisonic如果是图像中的jpg,则杜比7.0、杜比5.1等等音频格式相当于像素。
如何评价3D音频技术的行业现状?
3D音频技术势必会改变所有的应用场景。整个空间音频产业有两个机会:
第一个机会是做音频引擎(audio engine),其核心在于HRTF函数、Propagation等技术,即如何在游戏里尽可能逼真地还原出立体声来。目前简单的做法是,在VR游戏中放置不同的虚拟音箱,并配合Oculus Audio SDK(实现了HRTF以及其他效果,包括reflection等),就可以实现空间音频。
而不简单的做法有很多,需要团队具有强大的计算能力,成立于2013年爱丁堡的Two Big Ears是其中翘楚。他们所做的plug-in可能是目前行业中技术最好的plug-in之一。
第二个机会是实现3D音频在现实生活中的运用,即怎么配合全景视频录制带多个角度的VR音频。这样用户观看全景视频的时候如果转头,声音会进行动态调整。就应用场景来说,对于虚拟演唱会,3D音频技术尤其重要。
从目前整个全球市场来考量,3D音频由于其自身技术难度,还没有出现提供完美解决方案的公司与团队,大牌音频公司DTS所做的技术已经比较接近,但最终版本仍没有公之于众,并且面临着价格极高的可能性。
以下这张图列举了世界范围内,最被关注的七家3D音频技术团队:
VisiSonics:
VisiSonic起步最早,团队来自美国马里兰大学的实验室,2015年10月与Oculus达成合作。Oculus购买了他们的技术,叫做RealSpace 3D,用于Oculus Audio SDK。他们设计出了一个3D音频视频同步录制的设备,由一个柱型加顶部球型装置组成,球型装置上有64个麦克风。硬件层面上,技术拔尖并保持世界领先地位。
Two Big Ears:
位于苏格兰爱丁堡的团队,最近刚刚被Facebook收购。他们的核心技术是做3D音频引擎,名字叫做3Dception。就plug-in层面上来讲,这支团队是目前世界范围内技术最好的团队。在被Facebook收购前,据传HTC Vive音频的计算渲染用的就是这支团队。
3dio sound:
这家公司是目前市面上可见的空间音频收音录制领域最好的公司。他
本文来源:不详 作者:佚名