北京时间2月28日,全球首个虚拟现实与增强现实VR/AR实时通信云服务商声网Agora.io(以下简称声网)受邀亮相2017移动世界大会(2017MWC)。声网美国运营负责人Tony Wang就VR和AR领域中的实时通信技术发展及应用发表了演讲。
Tony Wang表示,VR和AR在近几年掀起了一股创业潮很多顶级厂商如Facebook、Samsung、HTC都加入这场VR和AR的布局战中。实际上,这个行业在国外已经发展了几十年,风口正劲。近期的这个潮流中,创业者大多数是通过硬件搭配内容和生态来完成布局,但是所有这些因受制于基础设施体验,用户体验并不好,消费者大多也只是体验,实际并不买单。
但是,有这样一些行业,VR和AR却有了比较好的应用场景。比如AR全息投影,把没有身在现场的人物通过技术手段投影到现场。现场观众不仅可以清晰地捕捉到演讲者的表情动作声音,听取演示,还可以和演讲者开展无延时的互动。AR模拟现场,在施工人员无法前往现场的情况下,通过AR技术远程指导工程作业、维修,完全消除时空上的阻隔。
AI全息投影
AI远程作业
Tony Wang在演讲中表示,VR市场应用前景广泛,有很多具有想象空间的场景值得期待,比如全球团队的协同作业,VR直播,医学实操教学,甚至一些特殊垂直行业等都有望广泛应用。
在以上应用场景中,无一例外都会涉及到人与人之间的实时沟通,他们面临的巨大挑战是,所有AR/VR的协同交互数据,都需要通过互联网来进行传输。
声网分享 VR语音上的独创性新技术
在今年的MWC上,VR/AR市场的风险和未来也成为热点话题。研究公司IDC预测称,今年全世界在VR和AR上的花费将达139亿美元,而2016年只有61亿美元。VR/AR行业的未来市场巨大,也是风险重重。如何突破技术障碍,尤其是在互联网传输不稳定的情况下,保证影像和声音的实时传输,也成为VR/AR行业发展的掣肘。
“我们对于目前大热的VR 产业,更多的考量是希望能够通过实时通信在VR行业的应用解决目前VR行业的一些障碍。目前看来,主要有几个技术障碍需要解决,其中一个问题就是实时性,也就是如何控制延迟。VR如果直播的话,尤其是互动直播,如果延迟厉害,用户的体验会非常差,并且这样的体验也无法满足用户的需要。其次,VR视频直播的带宽和视频压缩是一个短期之内还无法解决的矛盾,但是立体声语音的嵌入在VR的沉浸式体验中是非常重要的一个部分,”赵斌,声网CEO在MWC大会上说道。
会上,赵斌也分享了声网在VR/AR领域实时通信上的独创性新技术探索和他看到的突破机会。由于互联网基础架构本身不是为实时通信所设计,所以声网依托于全球部署的SD-RTN?实时虚拟通信网,在近100个数据中心内部通过智能路由快速选择最快的传输路径,向全球客户提供有 QoE质量保证、超低延时的实时音视频和直播服务,当然其中也包括VR和AR特定场景的传输。
声网提供有 QoE质量保证的实时通信服务。通过一个简单易集成的SDK即可接入声网的云服务,并能享受到声网24小时的技术支持。VR和AR中需要用户之间协同操作的场景,比如视频指导、语音交流、现场直播等功能,都可通过声网的通信云服务来实现。当然,由于VR和AR的数据传输量非常大,所以如何保证超大数据传输的低延迟,是需要不断优化突破的技术难点。
声网的VR/AR语音SDK可以支持1万人同时在线,全频音质,带来沉浸式的听觉体验。最高位256位的加密,保证用户通信的私密性。声网的VR/AR视频SDK支持7人视窗同时在线,多视窗等功能。针对VR或AR直播场景,声网的VR/AR还可以最多支持1万观众同时观看,最多支持7个主播同时直播,超低延时。
声网已与乐视VR、联想新视界及众多的VR/AR的(硬件厂商和)内容提供商达成了深度合作。