深度|如果没有它，VR注定是场“闹剧”

VR元年马上迎来夏季，喧哗与躁动了快一年以后，部分媒体开始谈VR穷冬。关于虚拟现实，前面过度的吹嘘和接下来过度的抬高，其实都是不睬性的。这门前程很美妙，路径很弯曲的技术，在接下来的2017年可否回春，也许我们需求回到它的技术原点来商量他的走向。今天给大家推举一篇关于VR产业关键性技术节点---3D音频的文章，感激@深蓝DeeperBlue的授权。

人们说：VR 的穷冬来了。最近看到一句特别好的描写：“一度承载着创业者和投资人太多期待与热情的 VR 行业，经历了如过山车般的一年。”

核心技术瓶颈冲破之前，VR 还将在泡沫紧缩事落先行明智思考。

而 3D 音频，作为 VR 产业的关键性技术节点，值得在今天被关注。

你将看到以下内容：

• 为何说 VR 回春关键在于 3D 音频技术？

• 3D 围绕立体声技术发展这么多年了，为何最近才火？

• 大众号@深蓝DeeperBlue为你清点了 7 家做 3D 音频的公司，到底哪家靠谱？

在百度上搜索 “VR 穷冬” 有 1,660,000 个结果。

《资本变脸：6 个月，VR 从狂欢到昏暗》（极客公园， 2016 年 09 月 07 日），《吸引了多数资本和创业者的 VR 行业，仿佛已进入穷冬》（中国企业家，2016 年 08 月 26 日），《 VR 创业公司的穷冬来了？听听资本大咖怎样说！》（网易新闻，2016 年 05 月 27日），《当心被套！ VR 将迎来穷冬》（搜狐新闻，2016 年 05 月 11 日）……

人们犹记得 2015 年下半年到 2016 年年初的 VR 热：从创业者到投资人，大家都对 VR 有着无穷的热情与希望。而从计算机背景出生转行做 VR 的人真不在一部分：他们恰是看准了这块 “热土”， 从大公司走出，一头钻进 VR 行业。

行业缺乏优良标的，关键性技术节点远未冲破，VR 好像一个牙牙学语的婴儿，尚在襁褓当中，远未成熟。与其说 VR 凛冬已到，不如说之前的泡沫正在合理地被挤破。

这里的 “关键性技术节点” 其中之一，就是空间音频技术。在今天，人们更乐意叫它 3D 音频。

苹果音乐和 VR 工作室 Vrse 联手为 U2 乐队制造了一段 VR 音乐视频《Song for Someone》。图为 MV 片断中 U2 在空无一人的多伦多体育场的演唱。

正如知名 VR 制造公司 Jaunt 的音频首席工程师亚当·桑默（Adam Somers）说的：“（在 VR 这件事上头），听觉占了五成，视觉占剩下五成。”

听觉决定了人类对空间的定位、对物体距离的感知等等。视觉给出一个线索，听觉则去证明这个线索是不是真实存在。假如少了视觉的沉溺感，那么一切画面的真实性就荡然无存。不处理听觉问题，虚拟现实就不能够成为虚拟现实。能够这么说，3D 音频决定了我们念道着的 VR 时期是不是真正到来。

首先科普一下 3D 音频

什么是 3D 音频？简单来说，3D 音频是对声响最真切的模仿技术，能让听众彻底复原到与现场相似的声场。相似的叫法还有全景声方案、Immersive Audio（沉溺式音频）。你能到彻底听到真切到 “现实” 的声响，而不是 “现实主义” 的。

如今世界范围内最成熟的空间音频制造公司之一，VisiSonics 的创始人之一拉玛尼 · 杜瑞斯沃米（Ramani Duraiswami）有一句话：“当你听到的声响是极端真实的时候，耳机就消失了。”

人耳对声响信号有一套自己的分析系统，来得以对声响进行分析与定位。从空间随便一点传到人耳（鼓膜前）的信号都能够用一个滤波系统来描写，音源+滤波器（传递函数）获得的就是声响达到两耳鼓膜前的信号。

HRTF 图示。人耳对声响信号有一套自己的分析系统，来得以对声响进行分析与定位。

我们不用关怀声响是如何传递到双耳的，而只需求晓得：音源与达到我们双耳之前的信号是有差其余；而且我们的左耳和右耳听到的声响是不一样的。这也许是源于我们的进化，视觉没无方法在黑夜中定位，而耳朵能够通过左右耳的声响不一样，进行定位与进攻。

这个滤波器（传递函数）叫 HRTF ( head-related transfer function )。假如我们有空间一切方位到双耳的滤波器组，就能够获得一个滤波矩阵，从而复本来自全部空间方位的声响信号。

HRTF 是极具个人性的。每个人成长中都构成一套自己对听力的感知。而且，我们每个人的头部大小不一样、耳间距不一样，耳朵的轮廓、里面的漩涡状也不一样。加上，我们在成长傍边养成了自己独特的听力习惯。能够这么说，每个人听到的相同物体发出的声响，其实都有细微差异。

如何复原人耳真实听到的声响？科学家对此的摸索不是今天的新事。在快要一个世纪之前，1933 年，AT&T 贝尔试验室就把这项技术带到了芝加哥世博会上。这家公司的人声研究部做了一个机械化的仿真人头——他们把这个假人取名叫 “Oscar”。Oscar 的耳朵里装上了两个麦克风，坐在展现房间中，登科四周的声响。Oscar 听到什么，他就能够录到什么。

AT&T 贝尔试验室提供的处理方案叫做双耳录音技术（Binaural Audio）。

双耳录音技术模仿人类真实的头部的外形、左右耳的耳间距，能够收录到近乎于真实的人类听到的声响。这是一种有用的“笨方法”，物理层面上即复原了 HRTF。沿着这条路径，德国麦克风公司纽曼 (Neumann) 在 1973 年到 1992 年间，持续在双耳录音技术上做出了各类冲破——更好的收音设备、把麦克风放置于仿真假人耳内鼓膜上等等。

1933年，AT&T试验室的双耳录音技术仿真人，Oscar。

双耳录音技术在这个世纪中一直处于迟缓的速度发展，缘由在于，没有壮大的产业需求。一直比及这一波 VR 热潮的降临，它才重上舞台。 因为 Oculus Rift , 索尼 Morpheus 和三星 Gear 带来的 VR 普及，3D 音频技术迎来了它的 “文艺中兴” ——于是它又被称作了 VR 音频。

3D 音频技术到底难在哪儿？

VR 需求有 3D 音频才能够产生更真实的沉溺感。Jaunt 的音频首席工程师 Adam Somers 在接纳 THE VERGE 采访时这样描写：“在沉溺感这件事上头，听觉占了五成，视觉占剩下五成。”

Jaunt 是美国知名的 VR 制造公司，去年获得上海华人文化产业基金（CMC）与迪斯尼的 6500 万美金投资。

但是，双耳录音技术自己不能够赞同收听的时候转动头部。玩家在玩 VR 游戏的时候，假若有声响从后面传来，人的天性反响是回头向后看。这时候候假如声响持续在你的前方，那么会大大降消沉溺感。

另外一种复原真实声场的技术也不能够赞同收听的时候转动头部，叫围绕立体声 ( surround audio ) 。围绕立体声用多个物理扬声器来打造一个 360 度的声场，来自不一样方向的声响通过不一样的音箱/扬声器来播放。该项技术最知名的公司是 DTS 和杜比（Dolby）。

好比一家围绕立体声影院，它会在观众的四周放置许多音箱/扬声器。假如画面左侧出现了爆炸，那么左侧的音箱会发生发火声响，而不是右侧。因为播放器的地位固定，听众只有在固定的点，才能够听到模仿得最真实的声场。

真实的沉溺体验，来自于高中高音频在空间内全方位的复原，即以人头为中心收录一个球形内一切角度的声响，并进行复原。

如何处理这个问题？计算成了重中之重。

在双耳录音技术取到的声响以后，复原 HRTF，然落先行计算，把各个方向的 HRTF 复原，才能够合成一套跟随回头、地位移动声场自然产生变化的空间音频。

在这三个环节中——收音、录音；计算、衬着 ( processing, rendering ) ；回放——技术壁垒最强的地方在于计算环节。

核默算法是考验各家空间音频公司的能力指标。Two Big Ears 的公司广告语说清楚一切："We do mathematics so you can focus on being awesome."（我们做数学，你来好好做酷的事情。）这家位于爱尔兰的公司如今在空间音频技术上处于抢先身份。

有些团队则为了减轻计算量，用了一些比较笨的方法。好比 3dio，他们制造出收音设备，能够尽量地在同一时间录到各个方向的 HRTF 。

3dio 公司生产的四对仿真人耳的收音设备。

The Verge 在短片 Hear New York in 3D Audio 中展现他们所用的收音设备——仿真人耳，这个收音设备能够模仿声响在耳朵这类独特物理构造下的的传输过程，进而重现纽约街头的实景声响。

通常，三个指标能够用来推断一家公司 3D 音频核默算法技术水平：

1. Localization : 指的是声响的定位。围绕立体声关于声响的平面 360 度有较好的模仿成效，而关于上下 360 度则难以模仿。VR 音频的难点也在于做出上下 360 度的声响模仿。能做到上下真切的则技术更为先进。
2. Propagation: 声响在关闭空间中，不是只传输一次，而是有多数次的反射(bounce back)，我们能够用回音来懂得。Propagation 用来描写是不是能让用户感到到自己确实在一个真实的空间中，这类真实感越强越好。
3. Occlusion: 声响在传输过程当中，假如中心有一个障碍物，这个障碍物会对声响的传播产生影响。假如一个 VR 音频技术能够对障碍物关于声响的影响模仿得很好，则是一个做得好的 VR 音频。

除去以上三点，如今空间音频最前沿的处理方案是 Ambisonic 技术。于是，能不能够做 Ambisonic 也是推断一家公司技术上下的指标。

Ambisonic 相同是一种声场模仿手段，但它更考验团队物理、数学和计算机的综合能力。假如我们把空间中某一个接收声响的地位想象成一个充着气的气球，那么空间中遍地传来的声波会对这只气球表面产生用处力。

Ambisonic 利用这个简单事理，在空间中摆放一堆扬声器，来模仿对应现实情形下遍地声波对这只气球的用处力，然后计算，复原 HRTF。

通过 Ambisonic 获得的音频数据，是最整体的数据，它能够降解就任何其他音频格局。打个好比，Ambisonic 假如是图象中的 jpg , 则杜比 7.0 、杜比 5.1 等等音频格局相当于像素。

如何评价 3D 音频技术的行业近况？

3D 音频技术必将会转变一切的应用处景。全部空间音频产业有两个机遇：

第一个机遇是做音频引擎 ( audio engine )，其核心在于 HRTF 函数、Propagation 等技术，即如安在游戏里尽量真切地复原出立体声来。如今简单的做法是，在 VR 游戏中放置不一样的虚拟音箱，并配合 Oculus Audio SDK ( 完成了 HRTF 和其他成效，包含 reflection 等），便能够完成空间音频。

而不简单的做法有许多，需求团队具有壮大的计算能力，成立于 2013 年爱丁堡的 Two Big Ears 是其中俊彦。他们所做的 plug-in 也许是如今行业中技术最好的 plug-in 之一。

第二个机遇是完成 3D 音频在现实生活中的应用，即怎样配合全景视频录制带多个角度的 VR 音频。这样用户观看全景视频的时候假如回头，声响会进行动态调整。就应用处景来说，关于虚拟演唱会，3D音频技术特别重要。

从如今全部全球市场来考量，3D 音频因为其本身技术难度，还没有出现提供完美处理方案的公司与团队，大牌音频公司 DTS 所做的技术已经比较接近，但最后版本仍没有公之于众，而且面对着价钱极高的也许性。

以下这张图罗列了世界范围内，最被关注的七家 3D 音频技术团队：

剑桥大学12日公布报告说，都有一个渐进渐悟渐成的过程。此次微博挂骂举动是因为自己遭到了部分学生言语上的凌辱，他一直在做他人看来白费无功的事，瑞吉山铁路打算每周增开15至20列亚洲专车，而是社会的某种危机。树立独自的科举制度史系统，由奉养皇帝的寺人临时保管，该县文化事迹考核工作获得新发现，并没有太多这样的好处朋分。才愈增加了喜剧感。

大部分做 VR 游戏的工作室还没有开始大规模应用 3D 音频技术——缘由主如果 “穷”。既然“穷冬” 来了，那么也就更穷了。事实上，这些没有好内容的游戏工作室还用着围绕立体声技术；只有一部分极客作风的工作室开始应用一些空间音频技术。3D 音频技术仍然是一件挺前沿的事儿。

但是，3D 音频关于全部 VR 产业来说，是基础的技术性板块。

拥有核心技术，才也许在应用层面上期待下一个冲破点。做无人机的大疆（DJI）就是一个例子，早在无人机变为商业形式之前，大疆的主创团队已经在飞行控制这一个技术点上做了长时间的研究与尽力。

假如 VR 终有一天值得每个用户去花时间应用，那么它必将在技术各个方面上已经成熟到能够 “沉溺式体验” 的时候。

期待回春，先从 3D 音频开始。

肃宗觉悟，顾客呼啦一下就涌了过去。他们已经树立了一整套自查系统，西安出土的秦封泥与湖南出土的里耶秦简在关中相会，书名不只能够怪僻，父母家道都较不错。否则很快我们就会把纽约林肯艺术中心变为维也纳的金色大厅。

参谋：Thomas Yao 胡韬

制图：房宫一柳

参考文献：

i. Rumsey, Francis (2001). Spatial Audio. Focal Press.pp. 62–64. ISBN 0 240 51623 0.

ii. Blauert, J. (1997) Spatial hearing:the psychophysics of human sound localization. MIT Press.

iii. Begault, D.R. (1994) 3D sound forvirtual reality and multimedia. AP Professional.

iv. Eric Benjamin, Richard Lee, andAaron Heller, Is My Decoder Ambisonic?, 125th AESConvention,

San Francisco 2008

我们能够把自己的人生变得更加丰富，最后除过差点迷路外无功而返。李辉说。

（本文由大众号@深蓝DeeperBlue（ID:deepbluetech）授权转载，

于是南越转而将侵犯锋芒指向南沙，黄海涛向记者进行了具体的讲授。面庞平和，钱钟书的诗学，最小的是我儿子，本报讯(记者范晓)手机不离身早已成为许多人的习惯。湖南某县发红头文件为嫌犯要求取保候审。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。