森声科技张瑞博:让VR音频成为VR内容的标配

在北京办公室,来访的张瑞博在接受正式采访前,先拿出一对耳机,让小编试一下他们的产品。
 
森声科技张瑞博:让VR音频成为VR内容的标配-DVBCN
 
Lifelike 录音耳机
 
并不是用耳机去听一段音频,而是先插上然后随便拍一段视频,过程中他在小编周围跺脚,并在耳边说悄悄话。结束后再戴着耳朵看回放,到他在小编身后跺脚那段时,编辑情不自禁地回头看了一眼,因为感觉后面真的有人在跺脚。
 
这就是3D音频,普通视频录制方法同样可以录到跺脚的声音,但它不会让你听的时候察觉到声音的方向。
 
森声科技张瑞博:让VR音频成为VR内容的标配-DVBCN
 
张瑞博是森声科技的创始人兼CEO,他给小编演示的这款产品是公司新推出的 VR 录音耳机 Lifelike, 目前已成功完成众筹。除了这款消费级产品外,他们还有一款专业级的 VR 录音设备 Sound Pano。
 
Lifelike 可以录制带有方向的 3D 音频,但并不适合 360 度全景视频,因为在全景视频中你会前后上下左右看,而全景的音频也需要随着你看的画面而变化,例如当你听到后面有人说话,转头回来,声音就应该听起来变成了前面有人说话,但 Lifelike 录的声音是固定的,在你后面就会一直在你后面。
 
这类耳机技术方面并不复杂,在左右两个耳机各有一个麦克风,使用者把耳机戴上之后,两边的麦克风就能录到声音到达耳朵时的变化,这样生成的 3D 音频文件能重现真实环境的效果,增加临场感。
 
它的主要用途包括 ASMR,当然也可以用作一般用途来增强视频的音频体验。不过,Lifelike 只有两个麦克风,要录制 360 度的 3D 音频,需要用到配备更多麦克风的 VR 音频录制设备。
 
专业级与消费级 VR 音频产品
 
Lifelike 之外的 Sound Pano 才是森声针对专业级 VR 音频录制的产品,也就是可以与全景视频结合,根据用户头部转动提供相应的 3D 音频的设备。
 
森声科技张瑞博:让VR音频成为VR内容的标配-DVBCN
 
Sound Pano
 
据介绍,Sound Pano 可以实现 8向 16轨 48K 26bit 无损数据采集,精准捕捉声源的方向、距离和运动轨迹。具有立体声场感知效果,能还原真实的声场关系。其定制化软件还具备 VR 音频轨迹系统,支持32 个音源对象同屏幕实时运算声场,并拥有自主开发的 HRTF 算法。
 
这款售价高达 3万元的产品,与市面上一、两千的全景声录制设备自然是有非常大区别。据张瑞博介绍,Sound Pano 使用的是 QB 方案,而普通消费级 VR 音频录制产品通常使用的是 FOA 方案,两者在录制过程从头到尾都明显不同。
 
其实 VR 音频就是要重现场景中的声场,让戴上 VR 头盔身处其中的用户感受到就在现场一样的声音,所以 VR 音频录制设备会模拟人的两只耳朵来听取环境中的声音,就像前文提到的 Lifelike 那样。QB 和 FOA 方案的产品也是如此,不同的是两者的方法和效果。
 
FOA 方案非常小巧,最基础的方案只要 4 个麦克风就能组成,所以通常可以集成到全景相机中,它通过这 4 个麦克风来获得 4 个方向的声音,然后通过 HRTF 算法合成 360 度各个方向的声音。QB 方案多半体积比较大,因为它涉及到模拟人两个耳朵之间的宽度问题,对采集的相位、响度等有要求,所以很难做小。另外,从售价可以看出,两者在成本上也有很大差距。
 
当然,两者的声音效果也会有很大差别,张瑞博表示,FOA 方案在声场解相度、感觉上面相比 QB 方案有比较大的距离。
 
小编也体验了两种方案制作的 VR 音频,可以很明显地发现,QB 方案的声音在还原场景真实声音方面更加优秀。
 
森声科技张瑞博:让VR音频成为VR内容的标配-DVBCN
 
但 QB 和 FOA 两种方案并不是竞争关系,而是有明显不同的市场定位,前者配合的是售价动辄数十万元的专业级全景相机,制作专业级的 VR 影视内容;后者更多应用于 UGC 领域,为消费级全景相机拍摄的内容增强体验。
 
让 VR 音频成为 VR 内容的标配
 
VR 讲求沉浸感,而达到沉浸感除了视觉上努力重现真实场景(或是创造一个以假乱真的世界)外,听觉也是沉浸感的一个重要组成部分。
 
高质量的VR视频需要做到音画同步,当用户在一个 360 度空间中环顾四周,他听到的声音也应该有所不同,特别是在空间较小的场景中。
 
除了增强沉浸感外,张瑞博表示,VR 音频还能成为导演引导用户视线的工具。由于 VR 没有了导演视角,用户可以在 360 度的场景中四处观看,而许多 VR 影片是有分场景的。一些导演为了引导用户会使用视觉提示,但其实用声音来进行引导会更加自然,就像小编体验时听到背后有人跺脚而猛然回头一样。
 
对于未来,张瑞博希望 VR 音频可以成为 VR 内容的标配。目前在 VR 游戏上 VR 音频已经被大量采用。由于游戏是纯 CG 制作,物体在空间里的位置可以很精确地知道,因而在整合声音和画面上要容易得多。相比之下,VR 影视内容则需要专业的 VR 音频录制设备来实现声音的方位感和更好沉浸感。
 
要让 VR 音频成为标配,除了推出专业级和消费级的录制设备外,森声也需要让自家的音频 SDK 得到各个内容平台(播放器)的支持。据张瑞博透露,第一个支持的内容平台是橙子VR,公司也在与优酷VR、暴风魔镜等平台在商谈。
相关文章
中兴通讯前三季度归母净利79.06亿元,推动5G-A等技术创新
中兴通讯前三季度归母净利79.06亿元,推…
洛图科技:2023年中国消费级XR设备销量为61.3万台,同比下降34%
洛图科技:2023年中国消费级XR设备销量…
IDC:2023年中国AR/VR头显出货72.5万台,同比下滑39.8%
IDC:2023年中国AR/VR头显出货72.5万台…
央视总台姜文波:文化元宇宙的共性技术及央视总台的探索实践
央视总台姜文波:文化元宇宙的共性技术…
工信部乔跃山:扩大虚拟现实产品高质量供给,加快提升产业核心竞争力
工信部乔跃山:扩大虚拟现实产品高质量…
工信部史惠康:推动低门槛等虚拟现实内容同步发展,扩大虚拟现实产品高质量供给
工信部史惠康:推动低门槛等虚拟现实内…
我还没有学会写个人说明!