参与此次活动的包括中国电信、ARM、京东方、Pico、华为iLab等,覆盖整个产业链端到端。首先发表演讲的是中国电信上海研究院的罗传飞博士,以“IPTV的VR之路”为题,罗博表示,可能在之前,VR产业链出现了一些问题,导致现在谈到VR,或许有些从业者会说,VR两年前就做过,但效果太差,也被质疑,做VR产业是不是忽悠。
罗传飞博士谈到中国电信上海研究院的VR拓展之路,其实也是深深的坎坷,刚开始拓展业务,从深圳到北京,多地进行考察,结果一样比较失望,VR的体验,的确不至于让用户买单。但从芯片到屏幕,从终端到码率,通过众多合作伙伴的共同推动,似乎,还是找到了一些希望。2017年,中国电信研究院以白皮书的形式推动了产业的共识,7月份首次召开第一届虚拟现实产业圆桌会议在北京信通院举办,到12月,通过研究、验证与落地,完成IPTV VR技术产业白皮书的工作,呼吁整个产业进行研讨。
罗传飞博士表示,VR是IPTV体验提升和业务创新的重要选择,全4K后电视时代体验已经到达了极限,IPTV、机顶盒产业链普遍还处在迷茫中,通过与产业链的深度探讨,研究院引领6家机顶盒芯片厂家,率先提出并规划IPTV VR形态,在整个4K难以过渡到8K(8K视频要到120寸屏之后才能出现明显差异),高帧率体验难以提供明显的业务模式,VR是否会是一个合适的选择?
IPTV VR创新,全方位沉浸式体验:
中国电信具有深度海量的粘性用户,IPTV机顶盒已经是现成的终端资源,对于用户而言,IPTV机顶盒不仅需要能与电视连接,同时,也可以更多样化的与VR头显对接,用户不需要做过多的投入,即可以得到VR的体验,IPTV无疑是一个优质的合作伙伴。从带宽上来说,随着宽带中国战略的进一步落地,光纤入户的带宽进一步提升,带宽已经让用户冗余,即便4K VBR平均码率能够达到15Mbps,但依然远远不能够达到目前百兆入户的上限,有一种业务需要对带宽带来挑战,需要突破百兆,能够推动流量业务的进一步加深。于是,VR赋能IPTV,IPTV普及VR就成为一种可能。
VR巨幕影院将成为IPTV VR的切入点,借助IPTV和机顶盒和宽视场高分辨率的HMD,可以渲染出IMAX巨幕影院的视听体验效果,用户在家即可不受档期影响,享受媲美亲临影院的体验。
以VR全景视频作为IPTV VR的创新点,在观看全景视频时,用户可以通过转动头部观看360度视角范围内的不同内容,获得全方位沉浸式的体验。通过VR全景直播,播出重大新闻事件、体育赛事、演唱会和发布会等大型赛事活动,结合VR全景直播实现可感知事件现场。
同时,VR社交将开启社交网络2.0时代,让相隔千里的朋友,如同在场,并用无穷创造力变换相聚的地点。VR游戏,虚拟现实与视频游戏的结合,为用户带来更为真实而强烈的感官刺激,游戏有望成为最先发展起来的VR大众市场。
制定机顶盒VR芯片,获取影院级体验:
IPTV的VR如果要解决,就需要解决带宽、解码、渲染的痛点,于是IPTV采用了全景魔方的解决方案,通过2K的全景底图+8K局部解码(分成小块)的方式,让整个VR视频能够传得动,解得动。同时,为了最小化GPU计算和内存带宽的需求,让200块的机顶盒GPU能够拖得动整个VR解码渲染的需求,进一步解决nVIDIA卡的成本问题,通过现有的硬解芯片解决这一问题,建设了基于专用电路的解码、渲染以及显示,能够把VR的体验通过IPTV机顶盒低成本实现。
那么VR巨幕影院和VR全景视频业务是否能够实现?其中也遭遇了一部分的痛点,例如,没有FOV大于120度的头显,单眼2K分辨率指标必须到2018年才能面市。芯片目前全4K芯片智能支撑到2.5K头显输出,内容在8K VR直播尚存技术难点,8K VR离线成本高。
于是中国电信上海研究院从机顶盒芯片到网络到平台到最终效果,提出了整体解决方案,VR巨幕影院的解决方案主要是以下:在机顶盒芯片上,制定了机顶盒VR芯片巨幕影院视频处理能力要求,制定机顶盒VR外接头显设备的接口与协议,HMD成为体验的核心,发布支持头显设备的白名单,在网络侧,用现有支持4K/全4K能力的网络能力,通过现有的IPTV平台、内容以及CDN系统,目标将支持HMD显示获取影院级的体验。
VR全景视频:制定机顶盒VR芯片高分辨率全景视频处理能力要求,推动6家主流机顶盒芯片厂家实现VR巨幕影院和高分辨率VR全景视频功能。8K VR视频在电视端和HMD端实现输出显示。在网络上全传的模式码率需求可以达到80M-160Mbps,超越百兆宽带的介入能力,部分传的模式可以实现带宽和时延的折中。通过现有的IPTV平台以及CDN系统,新增全国视频预处理平台,支持4K、8K、12K全景视频内容。目标是实现8K高分辨率全景视频点播、直播,获取沉浸式的亲身体验和现实生活。
罗传飞博士同时提了对未来的要求与展望,首先是头显,VR近眼显示体验突破是产业成功的基础,现阶段基于光学和屏幕显示的HMD体验的提升决定了VR产业成功的基础,FOV大小影响到巨幕的体验,通过望远镜看世界。其中头显所需要决定的核心指标:FOV 120+,Res 2K/eye,MTF 20ms,Refresh 75Hz以及价格。
其次是芯片VR处理能力的提升,需要产业链更多的魄力。体验良好的HMD需要性价比更高的主机,芯片需要针对VR处理能力进行提升,在VR工作上,传统机顶盒芯片厂商动力、储备依然不足,核心要求,是专用电路DPU、4K/8K Frame Buffer、GPU能力提升并且定位跟踪。
VR的发展首要满足沉浸体验的要求,预计对网络带宽的需求达到100—500Mbps,VR发展在沉浸体验达到一定程度时必然会对交互体验提出更高的要求,预计对网络时延的需求达到10ms-15ms。同时对沉浸体验向交互式体验以及融合体验提出了技术演进路线图。
最后,罗博士表示,整个工作组会以白皮书为总纲,继续推进VR技术、标准及产品演进,主要加强业务场景的洞察、技术标准的应用和现场实验的总结,推进企业标准的制定和标准化功能要求的认证,加快产品化、试商用步伐。深入验证云端、终端、显示端的渲染处理能力协同关系,推动真实场景下的8K VR全景直播场景的验证。进一步完善全景魔方和视点预测,支持3D全景和体验的优化,增加CloudVR云渲染、6DoF交互的关键技术。