“没有它，虚拟现实（VR）就没办法栩栩如生，也很难摒除人们的不信任感，但这一点往往是游戏和应用开发人员第二点去思考的方面，”微软高级项目经理Hakon Strande表示。

他指的的什么呢？想象你戴着VR头盔走在大街上，一切都模拟地微妙微翘，此时一辆公交缓缓朝你驶来，但由于声音模拟不到位，你无从判断它到底是位于哪个方向的。

Strande指的这一点正是声音，而这一领域也是微软在自家的混合现实（MR）头盔HoloLens中花大力气去打造的一个特色。

除了全息图像，HoloLens的法宝还有啥？

众所周知，HoloLens能够在人们所看到的现实世界中投射全息图形，但很少有人知道它的音频功能也非常强大，由于使用了微软自己研发的空间音频系统，虚拟世界里的音频听上去会非常可信。

微软音频创新总监Matthew Lee Johnston表示：“空间音频将会让环境表现得更为真实，让人类的大脑在环境中明白物体所在。”

那么，这一系统是如何打造的呢？

Johnston介绍，HoloLens的音频系统模仿的是大脑处理声音时的过程，“我们日常体验到的是空间音频。所有人都一直在听取、定位周围发出的声音，而大脑则不断地理解去处理这些声音，把它们在周围的世界一一定位出来。”

一系列的听觉线索，是大脑精确定位声音源的依靠。回到本文开头的例子，如果公交车从右方驶来，则离它近的耳朵会比距离较远的耳朵更先听到，声音也会更大。就是这些线索辅助大脑来确定物体的位置。

除此之外，在声波进入人的耳道之前，它会先和外耳、头部甚至脖子发生接触。根据这些器官的形状、大小和人的位置不同，每个声音都会受到不同程度的影响。而这些微妙的变化被称为HRTF（头相关变换函数），导致了不同的人听到的声音都会有所不同。

别小看这些细微差别，正是他们形成了最关键的空间音频体验。因此，“如果使用通用的解决方案或过滤器的话，就只能满足这世界上一半的用户了。所以为了让混合现实（MR）的体验每个人都能玩转，我们必须要找到一种方法，来打造属于个人的听觉系统，”微软研究中心的音频团队主管”Ivan Tashev解释道。

于是他的团队开始在研究中心收集大量的数据。如何收集？使用的还是比较原始的办法，即通过收集数百人的HRTF，建立自己的听觉档案。对对象的头部进行听觉测量和精细的3D扫描。如此一来，在被新用户戴上的时候，HoloLens设备就可以根据这些样本，快速而谨慎地匹配数据库中存储的最为接近的档案。

听觉模型是如何建立的？

世界上首个无回声房间

Tashev在微软总部的听觉测量房间是完全无回声的，是在声音吸收层上由丝网构成的房间，能够吸收一切声音和震动。这种房间首创于1943年，由哈弗电声研究中心主管Leo Beranek博士打造。

微软一共收集了350人的HRTF。这一具体操作是由一个携带60个话筒的黑色装置、以及对象耳中一对橘黄色麦克风而完成的。黑色装置会间歇发出尖利、宛若激光的声音，而当声波进入对象耳中的时候，麦克风就会捕捉到这些声波。

那么，这些声波如何使用呢？团队能够捕捉左耳和右耳所接收到的400个方向的音频线索，从而对每个音源都形成一对HRTF数据。“如果所有可能方向的声音HRTF数据我们都了解了，就能重建你的空间听觉，如此一来就可以欺骗用户的大脑，我想让他们听到什么，他们就会听到什么。”

HoloLens的头部追踪

光有这些还不够，另外一大必备要素就是头部追踪——头部的方向对声音接触耳朵能够造成最直接的影响。还是拿公交车做例子，当直视车辆和拿右耳朝着公交车的时候，听到的声音是不同的。

不过对于HoloLens来说，团队并不需要从零开始解决头部追踪的问题，设备上搭载的六个摄像头之一会持续观测用户的头部运动，而音频系统只需要把这一信息拿去用即可。

虽然技术团队强大，但微软并非首个、也非唯一能够打造个人化音频系统的公司。如普林斯顿大学和马里兰大学的研究中心，都拥有测量HRTF打造自身听觉库的能力。

但微软的音频测量，用户是留意不到的。在首次戴上HoloLens的时候，用户只会被要求让设备测量自己瞳孔的间距。但在这一过程中，其实它会偷偷通过瞳间距得出两耳之间距离的参考数值，从而了解到用户的HRTF到底与哪种数据库里的模型最为匹配。

选好合适的耳机很重要