中国智慧家庭产业联盟
2017年11月
引言
虚拟现实（Virtual Reality）技术已经列入《十三五国家科技创新规划》十大新一代信息技术，VR产业跨界融合明显、业务形态丰富、产业潜力大、社会效益强，将给新一代信息通信技术ICT发展提供新的动能。虽然目前VR可能被视作正处在走出期望幻灭低谷的阶段，但是作为一个具有较长发展历史，经历完整Gartner技术成熟度曲线的产业，随着真实应用需求的增加，可以相信这是一个新的起点，VR时代的大幕正徐徐开启，将成为“下一代互联网”和“下一代计算平台”，给人们的生产方式和生活方式带来革命性变化。
中国交互式网络电视（IPTV）十多年的持续创新发展，已成为融合传统媒体和新兴媒体网络传播的主导渠道，成为提高信息消费供给水平丰富数字创意内容和服务的重要方式。依托IPTV业务、网络和终端在智慧家庭的规模化覆盖能力，以及IPTV领域的技术业务创新活力，结合VR近眼显示、渲染处理、网络传输和内容制作技术的最新成果，坚持以应用为驱动，在应用中改进VR沉浸体验、提高VR虚实交互，可以率先迈出规模化部署IPTV“VR+”业务创新的步伐。
本白皮基于中国智慧家庭产业联盟在IPTV和VR领域的研究和验证工作，在联盟成员的支持和协同下编制完成，旨在对IPTV结合VR的技术产业发展提出洞察，阐述IPTV VR应用场景及其逻辑，并对IPTV VR的技术、业务、体验、终端和网络进行描述和展望，期望形成产业共识，加快IPTV“VR+”创新的步伐。
目录
1、IPTV的发展现状及趋势
1.1 IPTV引领和推动宽带网络及视频业务发展
IPTV业务从2005年开始，十二年的发展推动视频成为运营商第四个上亿用户规模的基础业务，成为融合传统媒体和新兴媒体网络传播的重要渠道。2005年~2014年，IPTV业务以标清为主，高清为辅，视频成为宽带主要的业务，有效地推动了光进铜退的宽带发展。2015年~2017年，IPTV以4K技术为引领，三年新增用户数超过过去十年的总数，视频成为创新基础业务，有效地推动百兆宽带成为刚需。IPTV成为一个新的融合娱乐视频、通信视频、行业视频、增值业务的产业，成为智慧家庭的核心服务。
图1中国电信IPTV宽带渗透率
1.2 VR是IPTV体验提升和业务创新的必然选择
VR时代的大幕已经开启，VR时代将沿着沉浸体验、虚实交互、虚实一体的方向发展，预计将成为“下一代互联网”和“下一代计算平台”，深刻改变未来的生活和生产方式。高盛公司的VR报告表示，VR正在加速向生产与生活领域渗透，预计2025年VR和AR市场规模将超过TV市场，VR不仅在视频、游戏、社交等大众领域，在很多诸如工业、医疗、教育等行业领域拥有很大的潜力。
IPTV业务的视频体验从标清、高清向4K/全4K发展，同时拉动百兆宽带的发展和普及，然而由于家庭电视观看设备及距离的约束，传统电视视频应用的用户体验已达极限，同时传统两维平面视频的网络需求也难以继续构成千兆宽带需求。而VR天然的沉浸特性和高带宽需求都指引着IPTV业务创新和体验提升向VR时代方向发展。
图2 IPTV业务体验演进趋势
2、VR发展趋势与关键挑战
2.1 VR是与虚拟世界感知、交互、融合的全新体验
存在即感知，世界乃虚拟。从视觉的数字化和虚拟化开始，世界的虚拟化是一个无法逆转的趋势。随着科技的进步，人的大脑终将能够接入计算机，意识和感官终将被数字化，虚拟和现实的边界终将逐渐消解。其实游戏、电影所表达的就是一个虚拟世界，我们看到的视频，从某种意义来说，就是一些真实世界被数字化和虚拟化以后，重新呈现的效果，社交网络把真实生活中的人与人的关系数字化放到虚拟网络世界中。当互联网络和虚拟技术为人们构建与真实世界或者说我们所生活世界对应的虚拟空间，并可以进行信息和物质的交互，意识和感官都可以被替代的时候，何为虚拟？何为现实？虚拟技术将连接虚拟和现实，打开新的感知、交互、融合的维度，在那个维度里，现实无足轻重，体验才是王国真正的货币，人类将用全新的方式感知万物，感知彼此。
VR的沉浸感知体验
虚拟现实的目标在于让使用者在感官上难以分辨虚拟世界和现实世界，这些感知体验包括了视觉、听觉、触觉、嗅觉、味觉和重力感知等多个维度。目前VR领域最主要发展方向是视觉呈现方式上，现在主流的视觉呈现方式是由LCD或OLED近眼显示屏加菲涅尔光学透镜为成像核心的VR头戴式显示器（HMD）。近眼显示屏分辨率从现在主流的双眼2K到一两年内升级到4K，一直到视网膜分辨率级别的16K，将逐步提升视觉感官效果，去掉纱窗效应，达到人眼看不出差别的效果。而在光学成像上通过透镜或透镜组的优化设计，从现在的90~120度视场角（FOV）逐渐发展到未来可以达到200度接近人眼真实的视场角。在听觉呈现上，采用3D声场音效，声音的混响、方位、衰减、空间化及多角度音效，可以再现现场级别的声效。除了视听感知体验的继续提升，未来的突破口在于建立多维度感知能力，人在现实世界的感知是多个维度的，但目前虚拟现实领域对触觉、嗅觉、味觉等方面关注较少，体验的真实性和实时性不足。
VR的交互行为体验
虚拟现实的交互行为体验体现在两个层面，一方面是在虚拟现实内容里的互动，另一方面是在体验自如的交互技术，都是构成与虚拟世界交互体验的重要研究方向。
VR交互内容方面可以体现在：VR视频的多线程视频，让观众以其中一员的身份参与电影中，甚至可以通过交互选择影响进展和结局，那将是一种全新的观影体验。而对于VR社交，VR教育，VR游戏等交互性应用，用户可以在虚拟世界中与其他用户或者虚拟人和物进行交流和交互，获得类似于真实世界中的交互体验。
在交互技术方面，可以与人工智能融合，实现对外部环境的模拟和识别。光场显示、裸手交互、现实捕捉、空间捕捉、表情捕捉、目光追踪、即时定位与地图构建(SLAM)、大空间定位技术和由内向外定位技术，都是目前研究的热点，将会极大地扩展虚拟现实的使用场景和交互感受。
VR的融合构想体验
虚拟现实的未来终极目标应该是虚拟世界与真实世界的融合，人与虚拟世界的融合，感知意识与Cyber网络世界的融合。
这种融合的主要基础是脑机技术和虚拟孪生技术。脑机技术通过对人脑和神经信号的直接读写来完成人与外界的感知交互。可以通过直接读取人的脑电波或神经信号来控制对应机器执行相应操作，也可以直接通过对相应器官、脑和神经进行针对性刺激，而让人产生特定的声音影像感知。虽然目前无论是非侵入式还是侵入式的脑机技术都处于非常初级的阶段，但未来预计脑机将淘汰各种显示屏、音响系统、触觉等各种感官系统，变成人与外接最重要最全面的交互感知方式。而人体虚拟孪生技术是伴随脑机技术成长的不可或缺的内容。通过虚拟孪生技术，可以对人体进行100%符合度的数字建模，一方面可以应用于医学，另一方面更可以对人脑、神经和意识进行研究和创造性应用，像电影《阿凡达》那种意识转移可以让人有完全真实的体验和感受，如可以在不同的VR社区中切换以体验不同的感受，过着不同的生活，并在人的肉体衰老后，将意识上传至虚拟生活网络，变成真正的意识永生。
图3虚拟现实体验发展趋势
2.2 VR技术进展已推动沉浸感知体验的持续提升
大众对虚拟现实的认知由终端设备向沉浸感知体验演变。沉浸感知体验是虚拟现实系统最基本的特征，让人脱离真实环境，沉浸到虚拟空间之中，获得与真实世界相同或相似的感知。
沉浸感知体验随着VR各方面技术的不断发展而得到不断的提升，大体可分为三个发展阶段。
第一阶段为用户沉浸感增强阶段，随着在HMD分辨率、刷新率、FOV技术上的不断突破，端到端传输解决方案的推陈出新，逐渐克服用户眩晕问题，逐步提升用户沉浸感体验。此阶段依靠全封闭的头戴显示设备检测头部三个维度旋转信息（左右旋转pitch、上下旋转yaw、轴向旋转roll），为用户提供3DoF（3 Degrees of Freedom）体验。结合耳机、运动传感器或其他设备，为用户提供视觉、听觉、触觉等方面的感官体验，使达到身临其境的感觉。
第二阶段为用户交互体验增强阶段，根据用户行为，模拟现实世界中的语音、声音、光线、温度等各种感官触觉，实现用户与虚拟环境交互的良好体验。相对于第一阶段，除了为用户提供三个维度旋转带来的视听体验效果外，还提供向前/向后、向左/向右、向上/向下三个位置维度在有限范围内的头部运动体验。此阶段依赖光场技术、点云技术的发展，借助混合现实MR头盔、轻型化HMD的不断更新换代，为用户提供具有立体视差、动态对焦、运动视差、不同角度光照具有变化效果的有限范围内互动3DoF+体验。
第三阶段为用户融合虚拟环境阶段，模拟人脑感官机理，通过一系列刺激手段“欺骗”人脑，使用户彻底融入虚拟世界，无法区分现实世界与虚拟世界。这个阶段借助于成熟光场采集、传输、显示技术和实时建模技术，以轻型化视网膜屏为显示载体，借助多感知技术实现左右旋转、上下旋转、轴向旋转、向前/向后、向左/向右、向上/向下的6DoF（6 Degrees of Freedom）体验，为用户提供完全的虚实一体化体验。
图4 VR感知体验逐渐提升的三个阶段
为了对VR各发展阶段相关技术进行规范化和标准化，促进VR产业的健康发展，MPEG组织专门成立了一个独立的OMAF(Omnidirectional Media Format)工作组，其主要任务是对VR媒体（包括视频，图像，音频和文本）的编码、存储、传输和呈现的格式进行统一。预计在2018年初发布第一个OMAF标准；云编解码、AR/VR音频和点云压缩相关标准预计在2019年到2020年标准化，与此同时，OMAF的第二个关于3DoF+的版本发布，在2020年到2022年，制定光场技术相关的新型视频编码标准，在此期间，制定沉浸式媒体应用层格式标准，有效支撑VR产业的规范化。
图5 MPEG-OMAF Roadmap
2.3 VR在行业和大众领域的产业应用曙光已现
VR产业链中，工具和设备类可细分为输入设备、输出设备、显示设备、拍摄设备、以及相关软件等；内容制作可细分为影视、游戏等内容；平台可分为应用商店、社交影院、实体体验店、播放器等内容；行业应用可细分为工业应用和大众应用。国际电子信息巨头企业将虚拟现实提升到战略高度，积极布局构建虚拟现实产业生态。Facebook、HTC、三星、索尼、微软、谷歌、苹果等国际巨头企业抢占身位，在立体显示、数据图像处理、体感控制、智能交互等方面进行了大量的技术和专利储备，推出桌面式、临镜式、头戴式、手套式、体感式等多个种类、多种款式的虚拟现实系统设备和开发平台；英特尔、英伟达、意法半导体等推出了虚拟现实专用GPU芯片和传感器件；高通连续发布了针对VR的旗舰级骁龙820和835处理器；谷歌、YouTube、索尼、福克斯等还推出了虚拟现实视频和游戏，加速了虚拟现实产业链的成熟与完善。
在大众领域，2014年，影视作品开始登陆虚拟现实平台，《星际穿越》在全美四家影院推出Oculus Rift虚拟现实头盔特别版，让观众融入浩瀚无边的太空旅行；圣迭戈国际动漫展上，《环太平洋》和《X战警：逆转未来》通过Oculus Rift让观众欣赏片段。2017年，派拉蒙正与VR社交公司Bigscreen，以及Oculus、三星、HTC和微软等知名虚拟现实科技公司合作，计划推出首个VR影院。观众带上VR头显后，会发现自己坐在“影院”的大屏幕前，像在实体影院里一样观看电影。
在工业领域，通过虚拟现实技术去复制和创造，是一个非常高效、耗能极少的过程，尤其适用于高风险、耗材成本高、低重复频率的应用场景。基于虚拟现实与增强现实技术开展的工业领域的数字展示服务，能够贯穿于整个生产制造环节，包括初期的市场研究、造型开发、工程开发以及市场开发阶段。奥迪、福特、宝马、克莱斯勒、丰田、沃尔沃等主流车企积极引入VR技术用于汽车研发、生产。在虚拟空间中构建出与物理世界完全对等的数字镜像，使得虚拟现实成为实现数字双胞胎（Digital Twins）的核心技术之一。虚拟现实还广泛应用于医疗领域包括手术培训/导航、心理治疗和康复训练等。
VR五大技术体系包括近眼显示、内容制作、网络通信、渲染处理和感知交互。目前VR技术成熟度、硬件成本、产业链支持度、消费者认可度等因素仍制约着虚拟现实的广泛应用，关键挑战主要集中在三个方面：体验质量、网络传输、计算能力，这三个方面的挑战一定程度上限制了VR业务的快速发展，需要依赖产业链上各个环节共同发力去逐步解决这三方面的挑战。
首先，体验质量对产业成功至关重要。目前市场上大部分普通VR产品的业务体验质量还不能满足广大用户的期望，其主要问题体现在视觉信息质量低，VR需要更高的分辨率、更广的视场角，8K内容分辨率仅是入门体验。视觉辐辏调节冲突，由于屏幕发出的光线并没有深度信息，眼睛的焦点调节与视觉景深不匹配，从而产生眩晕。目前的HMD受制于屏幕和光学的设计，体积较大，同时也较重，使用者长时间佩戴的HMD舒适度差。
其次，VR业务对网络传输提出了更高的要求。VR业务改变了人机交互的方式，既包含传统的人机交互行为，又有VR特有的虚拟交互行为。不同的交互形式和预期带来了对网络传输的不同需求。VR业务所需要的网络，关键在于提供稳定的高带宽和低时延，以保障VR业务的每一次交互行为体验。
最后，计算能力要满足VR沉浸式体验带来的海量数据计算以及实时性要求。目前，对计算能力的主要挑战体现在本地设备渲染能力及成本过高，限制了VR业务的普及。当前，手机式VR、一体式VR受限于有限的渲染能力，用户沉浸体验较差。PC VR需要借助性能强大的高端主机和GPU，才能渲染出靓丽的视觉画面，提供良好的交互体验。但由于高端主机的价格昂贵、技术门槛高，限制了VR业务在广大用户中的普及。当前VR渲染处理的矛盾集中于用户更高的体验需求与渲染能力的不足。因此优化渲染算法，减少计算开销，降低渲染时延成为发展趋势，如利用注视点渲染技术减少GPU开销，Multi-View渲染技术节省CPU资源，采用异步时间扭曲技术可以缓解端到端时延要求等。
图6虚拟现实技术五大技术体系
3、IPTV VR业务与体验
依托IPTV业务、网络和终端在智慧城市家庭的规模化覆盖能力，以及IPTV领域的技术创新活力，结合VR近眼显示、感知交互、渲染处理、网络传输和内容制作等新技术的最新成果，通过标准化定制IPTV VR基础能力、应用场景、体验标准、业务实现，以应用为驱动，在应用中改进VR沉浸体验技术、提高VR虚实交互技术，可以率先迈出规模化部署VR+业务创新的步伐。
IPTV VR业务分为不同的发展阶段，第一阶段为用户沉浸感增强阶段，随着在HMD分辨率、刷新率、FOV技术上的不断突破，端到端传输解决方案的推陈出新，逐渐克服用户眩晕问题，逐步提升用户沉浸感体验；第二阶段为用户交互体验增强阶段，根据用户行为，模拟现实世界中的语音、声音、光线、温度等各种感官触觉，结合无线网络的进展实现用户与虚拟环境交互的良好体验。
3.1 IPTV VR：打开VR+时代普及之路
VR影视赋予了观众身临其境的沉浸体验，一方面表现为对分辨率、刷新率、色深、视场角、3D等更高画质的持续追求，这符合IPTV视频业务一贯提升用户体验的专注，通过虚拟巨幕影院作为IPTV VR应用的切入点，以攻克8K以上超高分辨率VR全景视频为技术的制高点，强化IPTV机顶盒对虚拟巨幕视频的渲染处理和全景视频魔方最优化解码能力。随着IPTV机顶盒VR能力的标准化和提升，有机会演进成为家庭VR基础平台，巩固智慧家庭的入口地位。PC VR对主机成本和使用技术门槛要求高，用户群体难以普及，移动VR主机局限大，IPTV VR使能的机顶盒业务场景清晰，VR巨幕影院、VR全景视频、VR社交、VR购物存在无限可能性。未来家庭娱乐终端势必进一步分化为大屏电视、PC、移动终端、HMD终端，IPTV VR机顶盒可以巩固外接大屏电视、抢占HMD的主机地位；IPTV VR机顶盒规模化的普及能力和用户对视频体验追求的动力可以撬动体验优良的HMD市场。
对于虚拟现实产业而言，显示硬件是堡垒。2016年前后，随着HTC Vive、Oculus Rift和索尼PSVR产品的相继推出，标志着虚拟现实的硬件门槛已经显著降低，但是这些HMD需要和高性能主机组合，这种硬件组合方式存在成本高、更新换代速度快、笨重不舒适等问题。Google率先推出眼镜盒子搭配手机的形式，但分辨率受限于手机屏幕，而且在透镜的视角边缘部分容易出现色散。
IPTV已经具备开展第一阶段沉浸体验业务的条件，以提供巨幕影院沉浸体验为支点，推动360度全景视频、高体验HMD的创新和提升，可率先打开VR+时代普及之门，引领创新型VR新业务。在HMD设备尚未普及时，IPTV凭借大屏电视分辨率足够，终端解码能力、网络带宽能力相对较强，而且没有眩晕问题的优势，将是对大规模用户进行VR业务体验培育引导的基础；随着HMD设备功能和体验的提升，尤其是头显分辨率和视场角的提升，VR巨幕视频的体验将超越大屏电视，大幅提升HMD在家庭显示的普及应用；IPTV VR终端通过标准化接口和协议，支持2.5K、4K、8K各类能力的HMD设备，可广泛激活用户的体验兴致。
IPTV VR将大大加快虚拟现实产业的发展进程，给人们的生产方式和生活方式带来革命性变化。具体的应用场景包括：
1）VR巨幕影院：借助IPTV机顶盒和宽视场高分辨率的HMD，可以渲染出IMAX巨幕影院的视听体验效果，用户在家里即可不受档期时间影响，享受媲美亲临影院的观影。
2）VR全景视频：全景视频作为一种新的视频消费方式，在近几年受到了人们的广泛关注。在观看全景视频时，用户可以通过转动头部观看360度全景视频的不同内容，获得全方位沉浸式的体验。
3）VR全景直播：在重要新闻事件、体育赛事、演唱会和发布会等大型赛事活动，结合VR全景直播可以实现足不出户即可感知事件现场，不仅了解，更是亲身参与。例如去年王菲“幻乐一场”演唱会VR全景直播，可以说VR全景直播将会成为娱乐赛事观看和交流的一个重要方式。
4）VR社交：虚拟现实将开启社交网络2.0时代。VR社交突破了传统社交的空间限制，通过虚拟化身、表情识别等更加精细丰富的交互方式，深化网络社交体验。比如Facebook倡导的VR space人们可以在里面获得类似现实生活却又超于现实的社交体验。
5）VR游戏：虚拟现实与视频游戏的结合将为用户带来更为真实而强烈的感官刺激，而庞大的用户基数以及核心玩家对于新技术的开放性态度使得视频游戏有望成为最先发展起来的VR大众市场。
IPTV的两大历史使命，一方面是挖掘体验领先的业务以提升用户粘性，实现价值变现，另一方面是需要创新领先的业务来普及百兆、迈向千兆，培育千兆宽带的需求。VR+时代的到来为IPTV实现两大历史使命提供了新的契机。以IPTV VR全景视频业务为例，可以让用户足不出户即可享受多种VIP服务：参与明星演唱会，实现与偶像明星近距离、无死角互动，营造出一种与乐队成员或明星一同在舞台上的“完全在场”的现场感，弥补因时间空间限制而无法亲临的遗憾；参与体育赛事，解决因座位数量、观看位置限制，以更低的付费成本，享受最佳的VIP视角体验；参与电竞游戏，选手和竞技场景融为一体，和身边的人做虚拟化的互动（击掌），对比赛数据和战术做多样化的交流，增强用户参与感和沉浸感，游戏具有高度可玩性和客户粘性；享受虚拟购物体验，仿佛置身于各种国内外百货超市、药妆店、专卖店和Freedom Food生态农场，利用消费者视点在显示物品信息，短时间内“穿梭”在世界各卖场，随心所欲地挑选中意的物品。
3.2 VR巨幕影院：提供影院级视听体验成为可能
传统而言，电视无法提供影院级的视听体验。影院级体验的核心主要体现在巨幕视觉、优质画面、灵动音效等方面，这些特性均是传统电视无法媲美的。然而影院观影有其局限性，那就是必须在特定的地点和时间观看。IPTV机顶盒加上体验优良的HMD，结合客厅电视的便利性，提供影院观影的优质体验，这就是VR巨幕影院。
IPTV已经可以支持全4K视频，提供高动态和宽色域，也能够解码和播放多声道全景声音频。体验优质的VR头显可突破显示设备物理尺寸的限制，呈现巨幕视觉效果。通过高品质耳机实现虚拟空间音频回放，提供逼真的临场音效。这样用户即使坐在家中，也可以感受到类似巨幕影院一般的观影体验。同时，IPTV平台HD、4K视频资源丰富，用户选择自由、丰富，可以不受电影院放映时间及内容选择等限制。
图7 VR巨幕影院效果图
此外，VR巨幕影院还具有多项独特优势。借助IPTV机顶盒GPU的渲染能力，可以任意更换场景，比如将影院环境切换为客厅、泳池、街道、草地、山顶等任何用户喜欢的场景，一键“换肤”，这相比真实的影院具有独特优势。VR巨幕影院可以充分利用IPTV现有的一切视频和直播资源，这比真实影院的内容丰富得多。VR巨幕影院的音频采用耳机播放，私密性高，不会像传统电视机那样影响他人，用户可以随时观影。VR巨幕影院还可以承载社交功能，在虚拟场景中加入观影伙伴，可以将人物设定为观看者指定的虚拟角色，甚至将真实人物虚拟化后呈现出来，并允许观看者与虚拟人物互动，实现“共同观影”。另外VR巨幕影院场景中还可以加上形式灵活的商业广告，包括但不限于静态广告、2D/3D动态广告、互动广告等形式，具有特殊的商业价值。
3.3 VR全景视频：布局8K高分辨率提升业务体验
不同于VR巨幕影院，VR全景视频提供了观看者360度环绕的画面，观看者通过改变头部的位置实现视角的切换，为观看者提供了虚拟现实沉浸式的“亲身体验”和“现实生活”，在VR的诸多应用形态中VR全景视频将成为最先繁荣的VR应用。目前在线VR视频内容多样，包括舞台、旅游、纪录片等，可以满足观众的各类需求。在重要新闻事件、体育赛事、演唱会和发布会等大型赛事活动，结合全景视频直播可以实现足不出户即可感知事件现场，如同亲身参与，例如2017年央视春晚VR直播等。
图8 VR全景视频效果图（2017年央视春晚VR直播）
从用户体验角度，VR全景视频需要更大的视频分辨率（8K以上）才能带来更好的体验。用户观看VR全景视频时，单眼实际可视信息只是全部球面数据的一部分，如视场角（FOV）为90度，则单眼可视信息仅为球面信息的1/6。传统意义上说的视频分辨率对应于球面全视角分辨率，真正决定体验的是单眼分辨率。由于VR终端远高于传统终端的视场角，决定了对应同样的PPD，VR需要更高的分辨率。以FOV=90度为例，全视角360度8K分辨率，对应单眼分辨率2K、PPD=22，用户看到的画面质量实际只接近于在TV上观看480P的PPD效果。
VR全景视频的高分辨率依赖内容、传输、终端等多方面的支持，IPTV率先布局支持8K以上高分辨率视频，将把VR全景视频的体验提升到可运营业务的级别，对满足用户对VR的预期和提升IPTV业务的创新力具备重要的意义。
VR全景视频业务的发展以用户体验提升为主线，是画质不断提升，沉浸感越来越好的演进过程。未来，单眼画质将逐步达到视网膜级，用户看到的画面质量将接近于在传统TV上观看4K的PPD效果。不仅如此，VR全景视频的体验还会从视频和音频两方面努力，采用如3D声场技术，做到不仅画质清晰，声音也更逼真。如采用3D声场技术的8K VR音乐视频，相比普通8K视频，其3D声场音效，包含声音的混响、方位、衰减、空间化及多角度的音效，大幅提升音乐的听觉体验，如同真正在现场听到的一样。
4、IPTV VR系统技术要求
4.1 IPTV VR关键技术：基于OMAF视点全景视频魔方框架
在VR全景视频应用场景中，VR全景视频把现场清晰（高分辨率、大景深）、完整（无死角无遮挡无裂痕）地记录下来，由用户自己决定看怎样的画面，它的核心是超高分辨率（8K以上）。IPTV VR系统如何实现对超高分辨率全景视频的传输和解码，并适配用户所用网络、终端、HMD能力的提升而提供更高更好的体验，是开展高体验VR全景视频业务的挑战。
全景视频覆盖360度视场，而人眼的视角范围通常约为120度，因此人眼视角下看到的有效球面信号约为球面全景信号的27%。现有的VR终端设备（如电视、VR眼镜）可支持的视角大约在90°~110°之间，良好的视觉体验需要局部视场角输出的视频分辨率达到高清甚至4K分辨率，这就要求全景视频的分辨率远高于4K，达到8K甚至16K以上。
全视角传输方案是将360度环绕的画面都传输给终端，当用户头部转动观看特定视角的画面时，终端即时(Just-in-time)完成包括码流解析、视频解码和画面渲染等处理。VR画面在相同单眼可视分辨率情况下，由于帧率、位深、360度全景等原因，码率要比普通TV视频大很多，一般是普通TV视频的5至10倍。这种方案特点是视角切换时画面过渡平滑，兼容行较好，但是对IPTV系统网络传输高带宽低时延、超高分辨率视频解码和渲染输出三个方面的能力提出了高难度的挑战。具体而言，如果将360度全景视频通过经纬图映射成常规的二维视频进行编码、传输、解码和呈现，首先由于分辨率的显著增加，编码处理能力和网络传输带宽将成数倍增加；更为严重的是在终端解码上需要解码超高分辨率的全视角视频内容，而呈现给用户的只是其中一部分内容，终端解码资源存在浪费，而终端解码能力正是目前开展超高分辨率全景视频业务的最短板。
围绕这三个部分的挑战，，业界展开大量的研究，比如Facebook率先提出把经纬图重新映射到立方体的转换，使用多点投影的方式来进行二者之间的像素点切换。将经纬图顶部的25％转换为一个立方体面，将底部的25％转换为另一个面，中间的50％转换为四个面。通过这样的映射转换，每帧的像素数量减少了25％，从而提高了编码端的效率，并有效的降低了解码端的能力需求。为了进一步降低网络传输的浪费，近期基于动态视点(Field of View)的全景视频自适应传输方案成为热点和共识。如Facebook提出了金字塔模型，金字塔模型的底部为高质量用户视角区域，随着金字塔高度的上升，其他区域通过亚采样降低分辨率。当用户切换视角时，不是给用户看该金字塔其他表面的低质量视频，而是切换到另一个视角为底部高质量内容的金字塔模型视频。从而在不降低视窗质量的条件下，降低全景视频的码率。HHI提出了基于视频分块（Tile）的全景视频传输方案，思路是根据用户的观看视点和视角，只传输和解码FOV内的内容，采用部分传输和部分解码的方式减轻对网络带宽和终端解码的压力。
4.1.1基于视点的全景视频魔方编解码
基于视点的全景视频魔方方案利用全景视频播放和显示局部视场角的特性，结合了视点自适应、MCTS（Motion-Constrained Tile Sets）编码、多分辨率和多Tile划分，把VR全景视频描述成魔方形态，终端播放根据用户头部朝向和芯片的解码能力约束进行最优化的视频分辨率/Tile的选择、解码、渲染和显示。
图9 VR全景视频魔方编解码系统
全景视频播放的最优化主要受限于解码器的解码能力与网络传输性能，为了获取最佳的体验效果，通过建立如下的目标函数
其中表示解码的Tile，表示全景视频魔方，比如原始12K全景视频处理形成的8K/4K/2K组合的全部Tile集。表示基于视点的解码渲染输出，该函数值越大，表示通过解码这些Tile获取的用户体验越好。为了获取目标函数的最优值，可以从如下考虑：
1）根据终端HMD设备的分辨率和视场角确定视点包含的Tile范围；
2）在网络能力允许的条件下，获取更多视点内高分辨率的Tile；
3）在解码能力允许的下，解码更多高分辨率的Tile用于显示。
4.1.2基于视点自适应的Tile-based传输方案
在网络条件良好的情况下，传输全部全景视频魔方可以带来良好的视觉体验；在网络带宽不足的情况下，只传输用户视角观看范围内容的高质量Tile视频分块和最低质量全视角视频，可以有效保证在低带宽条件下优先给视角范围内的Tile视频分配带宽资源，被MPEG组织OMAF工作组在《ISO/IEC FDIS 23090-2 Omnidirectional Media Format》标准文档中采纳并推荐。
按需传输、部分解码策略的基于视点自适应Tile-based传输方案可以有效解决IPTV VR业务应用中的高分辨率全景视频传输带宽、解码能力和渲染输出三大问题，根据用户的即时观看区域动态地选择传输全景魔方视频Tile视频分块，可以有效地节省网络流量开销。同时为了保障用户转头时，无察觉地切换新视点高质量内容，传输一个质量基本可接受的全景视频流。
图10 VR全景视频魔方视点自适应传输
基于视点的全景视频传输方案难以避免地会在用户快速转头时出现新旧视点的高质量Tile切换间隙，Tile-based方案采用基本质量的全景视频补充这一时间段内的视点内容，一定程度上缓解了切换时主观不适感。为了进一步提升用户主观体验，可以采用视点预测技术，对下一时刻的新视点进行预测，对新视点Tile内容实现预下载和预缓存。目前在部分头显和手机上已采用预测跟踪技术，包括Oculus公司开发的异步时间扭曲（ATW，Asynchronous Time Warp）功能，在画面渲染的同时，可以追踪用户的头部动作；高通公司在骁龙835芯片上集成了六自由度视觉惯性测距（6DOF）、眼部追踪和手势追踪功能。这些预测跟踪数据可以有效地指导VR传输系统对新视角进行预下载和预缓存，减低新旧视点高质量内容之间的切换时间。
4.2 IPTV VR关键技术：基于解码渲染的机顶盒芯片架构
IPTV VR对机顶盒芯片的挑战在于以尽可能低的成本代价实现新的解码渲染架构，提供足够的驱动力把HMD的性能和VR全景视频内容的效果充分发挥出来。
与传统机顶盒芯片由专用定制电路ASIC进行视频解码、后处理和输出的处理流程不同，VR通常是依赖强大的GPU完成视频解码、立体建模、纹理映射、局部投影、双目渲染、反畸变、反色散、ATW等处理。与传统的PC主机VR需要完成各种实时复杂场景建模不同，IPTV VR重点在虚拟视频处理上，通过新的解码、渲染、显示架构，由专用定制电路ASIC完成解码，基础变换和渲染由GPU进行，双目输出、反畸变、反色散、ATW由专用定制电路的DPU模块完成。新的机顶盒芯片架构得以尽可能低的成本代价实现体验优良的VR视频处理能力，同时释放GPU的计算能力用于UI、背景、场景的渲染，这是推动IPTV VR普及的重要前提之一。
图11机顶盒芯片架构的变化
对机顶盒芯片架构的首要影响就是需要支持HMD设备，为了解决近距离观看和视场角的问题，通常会在HMD内部加入透镜，由于透镜光学特性会引起畸变和色散，造成观看者的不适。为了看到正常的图像，需要在机顶盒芯片DPU中加入对应的反向处理，如反畸变和去色散。要达到单眼2K@75Hz的显示，反畸变和去色散要处理的数据会达到600Mpix/s。
引起眩晕的一个主要原因是MTP(Motion To Photon)时延大，目前公认的是MTP时延低于20ms能大幅减少晕动症的发生；另一方面，为减轻不流畅的画面引起的眩晕，HMD显示刷新率要达到75Hz以上。异步时间扭曲（ATW）是一种生成中间帧的技术，当解码或者GPU不能保持足够帧率的时候，ATW能产生中间帧，减少抖动，有效降低眩晕感。为提供更好的沉浸体验，IIPTV VR机顶盒芯片VR视频处理流程包括解码、ERP投影映射、反畸变、去色散、ATW、双目渲染，当用户头部转动，需要通过并行处理的架构在10-15ms内完成VR视频的处理。
图12机顶盒芯片支持VR HMD显示交互
基于解码渲染的IPTV VR机顶盒芯片架构能够提升图像清晰度，消除HMD带来的畸变和色散，降低时延，提高显示刷新率，提供更好的沉浸体验，与传统机顶盒GPU解决方案相比，具有低延时、低带宽、低内存、低成本、低功耗、高性能的优点，可以有效提升VR沉浸体验。
1）降低视频处理延时
将ATW、反畸变、去色散等VR全景视频处理子模块集成到VR处理模块内，在显示输出模块完成双屏同步的处理后输出到屏幕显示，相比传统架构GPU处理，集成了在线并行处理的VR处理模块的新架构可以有效地降低MTP时延。
2）降低内存及带宽需求
在线并行处理的VR处理模块，相比GPU处理，可以减少多次读写外部memory的带宽，同时精细的片外memory的访问行为控制，可以降低内存空间的需求。
3）降低成本及功耗
为了达到较好的沉浸效果，如果采用传统机顶盒架构，需要一个性能十分强大的GPU，成本和功耗都十分巨大。IPTV VR机顶盒芯片在使用GPU外，用VPU和DPU处理模块加速运算，可以大大降低芯片的成本；所有模块可以采用并行架构，降低芯片的工作频率，有效降低芯片的功耗。
另外，IPTV VR机顶盒芯片架构需要支持VR各种定位、传感、交互信息的处理和响应，包括从最基本的蓝牙手柄操控设备、头部姿态传感信息到inside-out定位跟踪处理。
图13机顶盒芯片支持定位跟踪
机顶盒芯片作为IPTV VR主机的关键单元，未来在提升VR体验、丰富VR功能、降低成本的方向上，将随近眼显示、内容制作等技术的提升而迭代前进。
4.3 IPTV VR业务平台技术要求
以IPTV业务平台系统为基础、为承载，推动IPTV业务平台面向新兴媒体传播移动化、社交化、视频化的趋势演进，通过开放VR视频、直播、社交、游戏、电商内容入口，新增建设以VR视频内容预处理和VR云渲染为核心引擎的平台，规模部署VR使能机顶盒终端，支持进行“VR+”（泛指全景视频、VR社交、VR直播、VR游戏、VR购物等新业务新模式）创新业务。
图14 IPTV VR业务平台系统
VR全景视频预处理能力针对超高分辨率的ERP全景内容，进行全景视频魔方的转换处理，提供给CDN进行分发。以基于视点的全景视频魔方编解码方式为例，具体处理包括：
1）超高分辨率视频的Tile划分和重新组合。考虑到ERP映射视频的特点，以12K视频为例，一种可行的划分方式是把12K视频整体划分为48个Tile，具体而言，将经纬图垂直方向分辨率进行六等分，水平方向分辨率按照12、8、4等分方式进行划分，划分后的Tile统一scale到最小Tile分辨率规格上。再按照相同顺序把scale后的Tile重新组合成新的8x6的矩形视频。
图15全景视频的分Tile方式
2）建立全景魔方，进行MCTS编码和DASH/HLS索引。考虑到分Tile划分后的全景视频需要适配多种解码能力和显示能力的场景，因此对原始分辨率视频进行1/2下采样后，进一步根据上述分Tile策略进行分Tile和组合，同时从原始分辨率视频scale一个2K分辨率的视频，三个视频构成了类似魔方式的视频组合，分别采用MCTS编码后，依据DASH或者HLS方式进行切片建立索引。
图16全景视频魔方的构建
VR超高分辨率全景视频比普通平面视频的码率高出十倍以上，基于Tile-based划分的编码方式可以降低50%以上的码率传输，但也会存在多个Tile同时下载的问题（平均15个以上）。如果采用传统分发方式，寻址Tile文件全部传输将对CDN形成很大的压力。为了解决这些问题，CDN采用基于Tile的优化分发方法，主要思路在于：
1）对超高分辨率全景视频按照MCTS进行编码，CDN只发送用户请求的Tile视频，降低全景视频网络传输的浪费，并减轻对CDN分发网络的冲击；
2）提供多种分级的质量视频内容供分辨率格式给终端自适应请求。，网络拥堵、质量下降时，终端请求低质量分辨率视频减少卡顿现象，避免视频播放流畅度受到影响；
3）采用多Tile预拼接技术，通过将用户索引的Tile进行预拼接，减少查询和读取CDN服务的次数，避免因为这种频繁小文件查询和读取对CDN性能造成影响非常大；
4）引入大数据处理和深度学习等技术，获取用户观看的兴趣区域，并预估用户的观看内容，提前准备需要发送的内容，降低发送与请求之间的时延。
当前IPTV支持VR视频的场景，主要包括VR点播、VR直播、VR游戏等三大场景。IPTV业务平台升级改造涉及到包括针对高分辨率VR全景视频预处理能力和针对渲染密集的VR云游戏渲染处理能力，对CDN提出更高的并行流化能力和对EPG提出VR UI及内容的展现能力的提升。面向VR业务，IPTV业务平台需要在组播能力、CDN提升、业务运维和保障等方面进行优化：
提供组播能力承载VR视频直播业务
使用组播来承载VR直播业务，网络流量和CDN负载不会随着VR直播接入的观看用户数的增加而增加，是IPTV保障用户体验的重要利器，然而VR直播业务需要更高的传输带宽和网络QoS保障。
CDN需要更高的并行出流能力以支持VR点播
随着VR视频的分辨率提升，以及全景视频魔方的应用，单个用户从过去的请求一路CDN流，发展为同时请求多路CDN流，为了保证多个用户的观看体验，这就要求CDN具备更高的并发加速流化能力。
面向VR业务的端到端运维能力与QoE评估体系
相比于普通二维视频，VR业务从视频内容制作到终端观看的过程更加复杂。这种情况下带来故障种类多，视频体验劣化难定界，因此需要基于用户VR体验评估的基础上，实现端到端业务运维能力，做到故障快速感知和定界。
针对VR提供不同的业务优先级保障
无论VR直播，还是VR点播，若与其他视频业务一起无差异处理，无法保证业务端到端的质量。业务平台提供业务保障优先级确保系统内部资源分配到VR业务，确保VR视频业务的体验不劣化。
未来IPTV VR业务平台将随着VR业务的发展，继续在下面几个方面进行增强演化：
1）系统架构：面向媒体信息传播移动互联化、社交化和视频化的趋势，推动基于云计算、SDN/NFV的IPTV系统架构演进。把新的系统架构在采用基于虚拟化能力共享及云化动态伸缩的NFV/SDN上，通过标准化的IPTV平台组件和高性能、标准化及能力开放的CDN部件，以开放架构、平台松耦合的方式实现业务的快速创新、弹性部署，应对海量突发业务与流量。
2）服务模式：应对新兴媒体视频化、长尾化、即时传播、按需服务、海量传播的特点，基于大数据分析，在新的系统架构上构建弹性按需服务模式，以用户行为大数据分析优化计算和传输资源，以云资源的弹性应对用户服务按需请求处理的动态性和不可预测性。
3）内容分发：面向用户视频服务超高清化、虚拟体验化的业务需求，通过优化8K以上超高分辨率全景视频流化服务和网络流量分布，在IPTV系统架构上建设存储高效、网络均衡、更智能调度和流媒体能力优化的CDN平台。
4）业务创新：面向VR+业务创新需求和结合IPTV系统能力开放，构建VR能力开放体系，开放提供协同、跨界、融合的创新业务，探索“VR+X”（X泛指直播、社交、购物、游戏等新业务新模式）的融合服务的模式。
4.4 IPTV VR内容技术要求
全景视频与传统视频有明显的差别，传统视频制作是艺术创造过程，全景视频制作则是记录，核心是技术，不能用传统视频制作的思维制作全景视频。全景视频制作设备要求高，成像分辨率可通过增加摄像机个数积木式扩展。8K VR全景视频需要多个摄像头同时拍摄并实时处理。相比制作传统二维视频，技术挑战和难度更大，主要体现在：多摄像头空间位置统一校准；多摄像头采集画面的亮度和色彩一致性；相邻摄像头重叠画面的处理；将多摄像头画面拼接并映射到二维平面，以兼容已有编解码器；实时完成8K甚至更高分辨率视频内容编码压缩处理。
图17 VR全景视频摄像机积木式扩展
拼接是全景视频制作过程中技术难度较高的环节，。目前一般采用全局直方图均衡化和色彩校正技术解决各摄像头由于各方面的差异性导致的亮度、色调不一致的问题，以保证待拼接的画面亮度和色调的一致性，降低拼接难度，保障拼接后良好的主观效果。涉及到各摄像头采集画面亮度不一致。通常先统计亮度直方图再统一调整，确保输出全景画面亮度均匀。各镜头采集的画面本身存在一定畸变，在拼接前需要先做畸变校正纠正再拼接，然后检测。相邻摄像头画面内容之间配对的特征点和线，对拼接之间有重合部分，需要精确标定锚点标定，然后对重叠区域进行细致融合，充分保证确保交界处无拼接痕迹没有痕迹且不降低清晰度。将拼接后的360度全景视频映射为二维平面视频，采用已有的编码器进行编码压缩后传输或存储。拼接环节通常会通过ERP映射生成一幅幅矩形画面，再进行编码。
3D全景视频相比2D全景视频的优势在于能够提供立体感，但这也需要在画面采集时采用就用两双套摄像头装置分别模拟采集左眼和右眼，采取一定的视差对内容进行采集的画面，才能保留双眼视差信息，因而3D全景视频相比2D全景视频制作难度更高，不仅需要特殊的全景相机，而且左右眼画面都需要单独拼接和编码，需要处理的数据量像素量增加一倍。
目前3DOF全景视频支持都是3DoF，即观看者在roll、pitch、yaw三个方向维度可以旋转头部观看各视点的内容自由运动。为了提高交互性，未来6DoF6DOF视频将成为主流，代表全景视频下一步的发展方向。Facebook推出了一种初级的6DoF6DOF内容采集设备来自Facebook，它的其摄像头分为多组，每组拍摄不同深度的视频，再通过后期制作手段将这些不同深度的视频融合为6DoF6DOF视频。另一种6DoF设备是Lytro的光场相机，它采用密集的镜头阵列捕捉不同景深深度画面，相比第一种设备优点是观看者可以小范围移动位置，不必固定视觉中心，而且不同景深画面的清晰度更高。还有来自Intel的Free-D，它围绕赛场布置多个摄像头来录制视频，观看者随时可以在这些摄像头之间选择位置最佳的一个进行观看。
MPEG组织为VR内容的文件格式专门成立了一个独立的OMAF工作组，其主要任务是统一并规定VR多方面信号表达、文件逻辑嵌套关系等内容，例如规定了基本的视频内容映射格式、视角的表达方式、视角覆盖区域表述方式、3D视频交织存储方式。
IPTV VR巨幕影院对内容没有要求，直接采用IPTV已有视频资源即可。VR全景视频则需要根据当前阶段的制作理念和制作技术水平，逐步探索高质量场景类和故事类全景视频内容领域，为用户提供最佳的VR视频体验。
为了进一步提升全景视频的体验，现阶段建议VR全景视频内容从8K起步，具体技术要求如下：
全景视频内容的规格受制于HMD的显示能力，未来IPTV VR全景内容将随着HMD技术的发展和VR沉浸感知提升的需求，继续在下面几个方面进行提升：
1）360度全景视频技术规格的提升和优化，包括以8K、12K、16K更高的分辨率支持HMD设备规格的提升，同时在单个视频像素质量上也会进一步提升到10bit、12bit，支持HDR高动态、WCG宽色域和更高的帧率。
2）全景视频内容将从3DoF、3DoF+走向6DoF，尤其是全景视频内容将随着CG渲染技术、点云技术、光场技术的应用而提升。
4.5 IPTV VR机顶盒技术要求
传统IPTV机顶盒以电视视频业务为核心，对视频进行解码和后处理，再经HDMI输出到大屏电视机进行显示，目前机顶盒芯片、内存、Flash都以全4K能力为基础设计。典型配置如四个2.0G Cortex-A53性能级别的处理芯片、2-4核GPU处理器、1G内存、8G Flash、1个HDMI输出。
IPTV VR机顶盒除了支持传统电视视频业务以外，核心是要支持HMD设备，以满足IPTV VR的业务应用场景，提供巨幕影院和8K VR全景视频能力，相比PC主机和GPU的配置，当前主流机顶盒硬件和软件能力明显不足。但是要大规模普及IPTV VR机顶盒又对成本非常敏感，不能采取简单堆叠硬件性能的方式来解决，因此IPTV VR应用对机顶盒解码硬件设计和软件设计提出了更高的挑战。
图18 IPTV VR机顶盒
基于解码渲染的机顶盒芯片架构和基于OMAF视点全景视频魔方编解码方案，只解码用户可见视角的VR视频，可以在硬件成本和性能上获得竞争优势。但是依然需要在GPU性能、VR视频处理专用硬件、内存容量速率上提升规格。
图19 IPTV VR机顶盒的视频处理
VR机顶盒要具备连接大屏电视和HMD的能力，两路HDMI输出是基本要求，同时HMD通过USB将陀螺仪等传感器信息回传给机顶盒，由机顶盒进行对应处理。硬件接口上，VR机顶盒支持两个HDMI输出是基本要求。
相对于传统电视视频业务，VR业务和用户位置、方向信息相关，所以传统上的遥控器操作模式不适合VR业务。现在用的比较广泛的操控外设是内置陀螺仪的蓝牙手柄，陀螺仪将运动信息送回给VR机顶盒，VR机顶盒通过计算来确定用户操控行为。
随着AI技术的发展，语音识别和手势识别的效率和准确度大幅提高，正在逐步应用到VR业务中。语音识别和手势识无需额外设备，简单易用，将极大的提升VR业务的用户体验。未来，触觉手套，味觉传感器等备会使得虚拟体验更全面和真实。
在软件架构上，VR机顶盒软件分为VR SDK层、中间件层和应用层。
图20 IPTV VR机顶盒系统架构
芯片对其硬件能力进行封装，提供VR SDK，其中的主要功能包括：基于OMAF视点的传输方案控制，根据按需使用的方式获取VR内容，并完成解码，映射、渲染等操作。
中间SDK层，主要功能是，获取外部传感器信令，或者用户语音，手势等操控信息，定位用户位置或行为方向，识别用户命令，通过VR SDK控制底层VR硬件。
应用层，提供一个用户可见的VR Launcher，来使用VR播放器和控制VR业务。其主要功能是，获取VR EPG内容，集成业务逻辑，通过Unity 3D等技术生成VR场景和VR电子菜单。
图21 IPTV VR的EPG示例
VR机顶盒和HMD之间通过HDMI/USB线来连接，完成视频传输、传感信息回传和供电，这带来了使用者移动不便等问题，对用户体验影响严重。无线传输方式成为未来演进的一个重要方向。无线传输的两个重要指标是带宽和时延，VR视频的高分辨率和MTP20ms刚性约束，现有广泛应用的802.11ac WiFi协议远不能满足要求。
正在发展有望满足要求的无线技术有：
WiGig（802.11ad），是一种无线千兆比特网络通用标准，工作于60Ghz频段，支持近距离高达7Gbps的传输速率，满足2K VR的要求。WiGig技术已被英特尔及其无线VR方案提供商DisplayLink所采用。2017年E3，英特尔展示的WiGig无线方案延迟为7ms。
WirelessHD，是较早的一种专有标准，专用于短距离传输高清视频。WirelessHD 1.1版本采用了60Ghz频段，最高传输速率可达28Gbps。
WirelessHD的解决方案需要一个接收器和一个发射器，其延时在5-15ms之间。TPCAST技术，是WirelessHD的一项应用，已经在HTC Vivo上实现，体验效果在2K VR水平，和有线传输区别不明显，但是成本非常高。
此外，Li-Fi可见光通讯技术，可以达到50Gbps的传输速率，当前还处于实验室阶段，也是未来可能的选项之一。
4.6IPTV VR HMD技术要求
HMD良好的沉浸体验需要从人眼视觉特性着手，提供与人眼类似的视场角、良好的显示效果（足够的分辨率和色彩还原性能），并满足人眼立体视觉、聚焦凝视、视觉融合等特性。目前技术可用成熟以光学屏幕技术为主，除了大视场角、高分辨率以外，解决会聚与聚焦的不匹配是提升HMD体验的主要难点，新型的甚至结合眼动跟踪功能的多焦面显示、视网膜投影、光场显示技术正在蓬勃发展。
光学屏幕的HMD对屏幕的要求是高分辨率、高刷新率和小体积。理想的近眼显示屏幕分辨率应该达到16K，刷新率达到1KHz，以及1寸或以下体积。目前的屏幕技术尚待进一步提升。当前显示效果较好的OLED近眼显示屏幕，单眼分辨率在1K左右，刷新率达到90Hz，国际上主流厂商如Sony、VIVE和Oculus都在产品中使用OLED屏幕。随着LCD技术的发展，可以通过Fast LCD技术提升屏幕响应时间显著改善的产品。由于FastLCD屏幕在成本、产能上有显著优势，预计在将来的两到三年中成为主流，广泛的使用。将来，近眼显示屏幕需要的分辨率会进一步提升而尺寸进一步减小，现有的LCD和OLED技术都面临接近工艺单位尺寸分辨率的极限，能支持更小尺寸、更高分辨率的硅基OLED技术是一个值得期待的发展方向，随着这一类产品技术的成熟和价格的下降，在今后三到五年年中，硅基OLED有可能成为近眼显示的主流屏幕。
良好的光学设计对于HMD至关重要，它有助于确定可获取的视场和整体图像清晰度。在HMD早期，简单的球面或者光滑非球面镜片由于设计简单、成本低成为了头显的主流选择。有代表性的产品包括Oculus DK2,三星GearVR，以及Google的CardBoard等。随着VR的普及，用户对视场角大小和屏幕像素晶格感方面的有了进一步的要求，菲涅尔透镜由于具备短焦距和光学扩散的特点，成为新一代HMD的主流光学方案。当HMD的尺寸、重量进一步下降，屏幕的分辨率进一步提高，现有的菲涅尔透镜在尺寸、成像清晰度方面遇到挑战，而新型的菲涅尔结合非球面多透镜光学方案将会出现。
在数据接口方面，头显的HDMI接口应不低于HDMI 1.4.对于分辨率/刷新率综合指标高于2560x1440@70Hz的头显，其HDMI接口需要支持HDMI 2.0标准（或支持DP 1.3以上）。最新的HDMI2.1接口支持8K@60Hz的48Gbsp的传输速率，而2016年推出的DP1.4最高支持32Gbps的传输速率，如果使用90Hz屏幕，所能单眼分辨率极限约为4K。如果需要支持16K@1kHz的屏幕，HDMI和DisplayPort等标准仍然需要多年的演进。在HMD的交互方面，USB3.0接口可以满足现有传感信息和inside-out摄像头数据的基本需求。交互的形式从HMD的按键，3Dof手柄，6Dof头盔/手柄组合都会得到相应的应用。实现的成本从简单按键到复杂的6Dof设备逐渐上升，而交互的体验也是逐渐上升的。
5、IPTV VR对宽带网络的需求
5.1 VR体验的持续演进成为宽带网络发展的主要动力
当代信息通信的基础是互联网技术和移动通信技术，架构其上的无所不及的互联网应用已经深入到社会的方方面面，并正在改变着我们这个时代的面貌。回顾技术发展历程，应用和网络相互促进，螺旋上升，推动着技术创新和社会发展。虚拟现实技术以其沉浸性、交互性和构想性的体验，推动着网络向高带宽、低延时、无线化方向演进发展，为网络的质量保障、接入技术和网络架构的发展注入源动力。
图22 VR体验提升与网络演进
VR发展首要满足沉浸体验的要求，预计对网络带宽的需求达到100-500Mbps。提升沉浸感的需求促使VR分辨率和帧率越来越高，推动VR视频带宽需求的提高。根据计算，8K VR全景视频的传输带宽需求超过100Mbps，16K-32K VR全景视频的传输带宽需求更是高达1-4Gbps，即使采用基于视点自适应的传输模式，带宽需求依然高达500Mbps，需要千兆宽带才能提供支持；而更具沉浸感知体验的光场、全息VR，则需要现有基础上的100-1000倍的传输带宽需求。
VR发展在沉浸体验达到一定程度时必然会对交互体验提出更高的要求，预计对网络时延的需求达到10-5ms。提升VR交互体验的需求，则更多的对网络延时带来挑战。在交互式VR场景中，显示的内容根据用户的位置和行为进行实时变化。对于实时内容的交互式业务，如VR社交、VR实时操控，过大的缓存和传输延时会造成交互不流畅而影响体验。为保证交互的基本的流畅性，网络传输延时不能大于20ms，而对于极致的VR交互体验，端到端延时应小于20ms，网络延时则需要降低到10ms以内。对于非实时内容的交互式业务，如6DoF场景，网络时延越大，则需要预先传输的视点内容越多，所需的传输速率越高，若1ms网络延时，所需的传输速率是100Mbps，在20ms网络延时，传输的速率要求将达到600Mbps。因此，网络延时20ms是基本要求，随着VR交互体验的提升，对网络时延的要求需要提升到小于10ms甚至5ms。
在融合体验阶段，所需传输的数据不仅仅是视觉信息和听觉信息，还可能包括运动加速度、触觉甚至嗅觉等信息。但视觉信息仍是其中最主要的内容。这时，视觉信息的呈现方式将包括全息影像、光场等方式，这些方式的每个点都包含整个场景的部分或者全部信息，网络所需传输的信息成几何级数增加。技术的进步可以将所需传输的数据量大大压缩，但我们仍估计需要传统方式100~1000倍的带宽才能承载融合体验的VR业务。
用户任何时候、任何地点观看高沉浸感VR内容的需求，对VR业务的便携性和可移动性提出要求，推动着网络固移融合的发展。固定宽带因其高带宽、低延时的特性，是IPTV VR率先迈出普及步伐的优势和基础，而包括WiFi和移动数据网络的无线接入承载会将VR的普及和体验推向更高的阶段。
图23 IPTV VR网络架构
VR沉浸体验、交互体验和融合体验所需要的需要高带宽、低延时的承载网络，推动网络向计算边缘化，结构扁平化发展。VR内容场景的渲染需要高计算力的支撑，尤其对于CG内容和6DoF的场景，计算力云化和VR业务的低延时特性，对网络延时提出了更高的要求，当传统的集中式业务中心和多层的网络架构难以满足低延时要求时，就需要将业务节点逐步下沉到网络边缘，推动接入机房（AO）重构，提供多接入边缘计算（MEC）能力，并推动网络架构从传统的多层汇聚架构向扁平化网络演进。
VR业务高带宽、低延时的需求，还推动着网络智能化的发展。一方面，VR业务是网络质量敏感业务，轻微的延时抖动、丢包就会对业务体验产生影响；另一方面，网络状态瞬息万变，只有实时地根据网络状态对VR流量进行智能化的动态监控和调度，才有可能对VR业务进行高效的保障，并将其对网络的冲击减到最小。网络的NFV和SDN化为网络智能化奠定了基础，5G引入的网络切片技术为端到端QoS保障提供了新的手段。通过大数据的网络状态和业务质量的识别，人工智能辅助的网络智能调度和运营保障，智能化的网络有能力为VR的沉浸体验、交互体验和融合体验提供高效的保障。
5.2 10G PON接入成为IPTV VR业务的网络基础
10G PON技术将成为满足IPTV VR第一阶段带宽要求的基础，目前固网接入方式依然为GPON、EPON为主，难以满足第一阶段中8K、16K等VR全景视频要求的百兆以上的家庭带宽接入能力。GPON单接口的下行总带宽按2.5G计算，收敛比按照50%计算，在1:64分光比下每用户带宽尚不足100Mbps，因此GPON/EPON技术难以满足IPTV VR的大规模普及，EPON向10G EPON演进，GPON向10G GPON演进已成为现阶段千兆入户的主要技术方向。10G PON分为非对称10GPON（XG-GPON）和对称10G PON（XGS-GPON），非对称10G PON提供1.5G（10G EPON）/2.5G（10G GPON）上行和10G下行，对称10G PON提供10G上行和10G下行，收敛比按照50%计算，则在1:64分光比下每用户带宽可达到300Mbps，将满足IPTV 8K到16K VR全景视频业务的带宽需求。
下一代PON技术，一方面是通过单波长提速，实现25G PON，另一方面是通过多个25G波长堆叠实现100G PON。ITU已开始制定下一代PON标准，IEEE 802.3已开始着手制定25G/100G PON标准，ITU和IEEE的“PON融合”已成趋势，单波长25G正在成为标准，25G PON可以在分光比1:32/64情况下给用户开通1Gbps以上带宽，100G PON则可以在分光比1:32/64情况下给用户开通4Gbps以上带宽。
5.3 IPTV VR将促进家庭智能组网及WiFi千兆覆盖
IPTV VR业务的普及必将推动家庭网络WiFi从百兆无缝覆盖进入千兆无缝覆盖。相比现阶段802.11n最大支持40MHz频宽、最大四个空间流的MIMO、SU-MIMO和64-QAM，难以提供家庭环境下用户体验速率100Mbps的无缝覆盖。802.11ac工作在信道多干扰少的5GHz频段，单天线（单空间流）最大物理速率可以达到433Mbps，实际数据速率可以达到100Mbps以上，通过2*2以上的MIMO保证Wi-Fi的数据速率，不低于200Mbps，802.11ac将满足IPTV VR第一阶段带宽需求。而Wi-Fi带宽要求500Mbps以上千兆以下时，需要使用支持4*4 MU-MIMO的802.11ac wave2标准或者升级到下一代的802.11ax标准。
预计2019年正式公布的802.11ax标准采用MU-MIMO、OFDM、1024-QAM等技术最大可实现10Gbps空口速率，同时具有更强的抗干扰能力、更强的并发能力、更远的传输距离，以保障丢包率、时延以及带宽稳定性等性能指标，可以在用户密集的环境下提供一致且稳定的传输速率。
此外，IEEE 802.11目前在制订基于60GHz的下一代Wi-Fi标准802.11ay，通过channel bonding，MU-MIMO等技术可提供20-40Gbps带宽，可实现无压缩视频帧数据传输。802.11ay技术可用于VR头显的无线化，是利用无线传输技术进行无损的视频传输以解决主机VR，头显与主机之间的连线影响用户体验的问题。
5.4 VR时代的发展呼唤5G时代的低时延高带宽网络
随时随地100Mbps用户体验速率的覆盖是移动网络承载VR+时代的基础，VR从沉浸感知体验走向虚实融合体验，对无线移动通信网络承载能力提出了挑战。目前LTE商用环境的单用户理论峰值速率为100-300Mbps，然而受基站覆盖、小区用户数、信号强度、干扰等因素影响，用户体验速率为3～30Mbps，尚不具备承载初期8K VR全景视频带宽需求的能力。
2017年12月ITU、3GPP相继发布了5G NR新空口技术需求和标准，随着5G新空口技术、网络架构和核心网络标准的演进和逐步商业部署，预计2020年起5G增强移动宽带场景（eMBB）将推动VR沉浸感知从8K、16K VR，走向光场、全息VR，进一步结合高可靠低时延场景（uRLLC）VR将进入与虚拟世界交互和融合的大发展主题。
VR业务体验的提升和5G新技术的应用部署将进入相互促进匹配阶段。5G空口采用新型多址和多载波、高频段通信、高低频协同、超密集组网、大规模天线阵列等技术，可提供更高的网络能力，5G网络采用的边缘计算、网络切片等技术，可更好地承载VR社交、VR游戏、6DoF VR等延时敏感型VR业务。VR体验的每一步提升都将构成对5G网络流量密度（10Mbps/平米->100Mbps/平米）、用户体验速率（100Mbps->1Gbps）、数据面时延（10ms->1ms）的重要驱动。
6、总结与行动计划
6.1总结：VR赋能IPTV，IPTV普及VR
VR时代大幕刚刚开启，抢占VR时代的新业务、新入口和新流量，VR+（视频、全景、直播、游戏、社交、电商）存在无限可能。随着经济的发展，已经进入消费升级的阶段，以VR创新形态推动IPTV业务，集成VR技术的最新成果，以提升用户沉浸体验为目标，服务IPTV的战略又赋能IPTV的发展和演进。IPTV的发展面临如何进一步提升用户的观影体验，如何进一步促进宽带业务迈入千兆时代的挑战，VR的沉浸体验和高带宽需求恰好与IPTV的战略吻合。
IPTV从推动用户视频体验提升出发，通过利用VR最新技术给用户提供沉浸级的视频体验，提升用户的感知。进而提供8K以上分辨率的全景视频业务，进一步满足用户对360度全景视频的新体验。以规模化、标准化为手段，降低产业成本，打通VR内容分发渠道，为高质量内容变现提供可能，进而以应用驱动，在应用中改进VR沉浸体验技术、提高VR虚实交互技术，推动VR生态的繁荣。IPTV VR的启航必将极大的推动VR时代的进程，拉动VR产业的发展，普及VR业务在公众/行业的应用，推动城市智慧服务、信息消费升级、信息化水平，在VR领域开创一条以应用驱动，在应用中发展技术的可持续创新。
6.2行动：挑起VR+时代的新扁担
新一代信息通信产业发展已经进入“应用驱动，在应用中改进技术提高技术”的创新模式，业务应用的发展壮大和ICT技术的演进创新就如同扁担的两头。IPTV成为融合传统媒体和新兴媒体网络传播的重要渠道，具备应用创新的巨大优势：上亿用户规模、平台终端标准化规范、技术创新活跃、产业影响力强。2016年下半年，VR产业进入低谷，与承诺的用户预期落差较大，用户观望失落。值此产业黎明前，需要有担当的运营商的规模化能力和业界领袖企业的创新力联合，从上而下构筑联合产业共识，挑起VR+时代新扁担，鼓舞产业信心、解决技术难题、探索新的业务形态、推动IPTV VR从验证到兴起到繁荣到飞跃。
中国智慧家庭产业联盟已经开始行动，与业界创新企业一起开展多轮VR技术圆桌论坛，与中国信通院发布虚拟（增强）现实产业白皮书，与工信部标准化协会VR/AR工作组进行IPTV VR应用场景、技术需求及实施方案研讨，与IPTV机顶盒主流芯片厂商进行芯片级VR能力要求及标准化制定。IPTV VR正沿着技术调研、测试验证、产业共识、标准化推进、产业链引导、现网试点、规模推广有序进行。
2017年：充分调研现阶段VR技术的最新成果，搭建原型产品和业务，进行测试验证，以白皮书为抓手推进产业共识。
2018年：在产业共识的基础上推进企业标准、行业标准和国际标准的制定和完善，基于标准化推动产业链进行产品化开发，在有意愿的省市开展现网试点、试商用，进行技术和业务的迭代创新。
2019年：大力开展VR+创新业务，推动更多VR+业务的探索和试点，在应用中改进VR沉浸体验，走向VR+新时代。
7、术语表/缩略表
