图为新奥特(北京)视频技术有限公司副总裁VR/AR研究院常务副院长戴霖
2016年被称为VR元年,新奥特成立了VR研究院,专门负责VR/AR的研究。说到VR大家脑海里闪现的就是全景视频,戴着眼镜来进行观看的视频,但是实际上对于虚拟现实来说,那样一个全景视频并不是它的依存度,还有另外一个方式就是环物拍摄,通过摄像机进行360度的拍摄,来展现这个物体的各个角度,这个称为环物的拍摄,戴霖今天介绍的主要内容就是环物拍摄的方式。
实际上这个方式在很多VR中心也在使用这样的方式,通过环物拍摄来进行被拍摄物的三维模型化。把它由视物来进行模型化之后,来显示在三维的虚拟空间中。所以这个世界上环物拍摄技术也是虚拟现实的应用之一。环物这种拍摄的方式目前应该说大家更,最广泛地使用的就是子弹时间的拍摄方式。
目前这样一个拍摄方式大量采用的都是这样用单反或者用手机来架设阵列的这样一个方式。这样的一个方式有它固有的问题,比如说这种方式大量采用的是摆拍或者是抓拍的方式,摆拍很好理解,就是我们这边说开始,被摄的人开始做动作。在另外的一些应用里头可能会需要有一个人专门来观看赛场或者镜头,来预测之后的十几秒或者几秒会不会精彩镜头的出现,如果会有就开始录制,如果一个不留神或者什么可能就会错过一些精彩镜头,因为它不能够全程实时地进行录制。它的所有存储是分散在各个相机的内部,它需要有一个拍摄完成之后再去下载制作的这样一个过程。还有一个就是单反的固定,这些相机的固定问题,因为他们不是为了长时间连续拍摄所设计的,包括它的感光元件发热问题等等都会造成拍摄质量的下降,因为它不像摄像机一样可以长时间拍摄而设计。新奥特现有子弹拍摄速度实际上从这些问题来看,它实际上不是很适合于电视直播的实时制作这样一个场景。新奥特这边是结合我们的一些优势技术,把几个产品的核心技术进行了一个组合,打造了这样一个适合电视直播的360度环绕拍摄技术。
在这个系统里头首先作为这个系统的基础,就是慢动作系统,不管是旋转也好,等等也好,都要有慢动作的展现,慢动作系统是一个基础。为了解决拍摄和制作分离的过程,新奥特希望能够把所有的拍摄跟制作过程进行分离,避免单反等等离散存储的缺点,戴霖和技术团队采用这样一个多通道收录系统,利用强大的多通道收录系统可以同时把所有摄像机画面同时连续收录,不间断收录,随时可以进行回看,随时可以进行制作。还有一个就是不可缺少的子弹时间的拍摄系统。这几个系统的结合,就形成了VSE Motion360度全景的慢动作回放系统。
这样一个系统首先是慢动作+360度慢动作环绕拍摄系统,这两个系统很好的结合。传统的慢动作系统实际上就是把镜头慢动作,然后在时间轴上进行一个调节,可以进行任意倍速的慢放。通过这样的一个形成相机阵列之后,所有的相机阵列的信号进入慢动作系统以后,相机阵列,相机和相机之间的图像就产生了相关性,意味着除了在时间轴上进行平移之外,就增加了一个空间轴这样一个纬度,通过时间轴和空间轴的组合,就可以形成各种效果。最终输出还是采用广电的SDI的输出。
在操作上面很容易想象,原来一维的变成二维的曲线,这个曲线实际上在下面阶段一还是在一个单一的时间轴平移。到了阶段二开始在多个相机之间进行平移。到了阶段三再回到单镜头的平移。这样的话,通过这样的一个方式,我们就可以形成之前短片上所看到的那些效果,包括可以进行更多的,包括回放等等,随着大家的需要可以设计不同的曲线,通过这样的曲线来达到不同的特色。
和之前说的那些子弹时间的拍摄系统不同,新奥特研究室采用的是专业的视频摄制设备,采用的是广电级的超小型的摄像机,并且视频输出也是持续不间断的,跟单反有相当大的区别。戴霖表示他们的系统同时采用了外同步,通过外同步这样的形式进行所有摄像机之间的拍摄的同步,使得所有的信号在同一时间可以拍摄同一帧,避免帧之间的错位,因为之前做过的测试,帧的同步是非常关键的,大概应该是几个毫秒,大概应该是不到十毫秒,甚至几毫秒的差都会使得图像产生不出效果。同时我们采用的摄像机也支持4K拍摄,可以形成更高的视频质量。
作为这个系统基础的慢动作系统,戴霖指出这个技术当时是为了体育赛事量身定做的,大家知道新奥特在体育赛事转播有非常丰富的经验。基于体育转播的需要,慢动作系统是基于这样的需要来进行大作。这个系统提供这种可视化多通道的操控,包括故事板的方式进行播出,同时我们全程支持4K、50P,包括网络集群化,可以通过集群化的方式进行扩展。
慢动作的速度可以在0-100%之间进行条节,快一点也是没有问题的。精度可以随时进行入点打点,即时进行慢动作回放,完全与收录过程无关,不会干扰。同时这是集群的方式,除了服务器之间的集群,还有操作面板之间的集群,其实慢动作是一个强操作的系统,它对操作性的要求是很高的,通过面板的集群,实际上是可以的,一个人来进行大量的操作,一个人来专门进行点位的修正,通过这样的方式来结合工作。同时在安全方面,系统第一个是数据循环记录,当然是存储容量的问题了,还有素材的意外保护工作,系统断电之间引入的素材都可以确保正常使用。
慢动作系统,首先支持六讯道高清信号录制及两讯道高清信号慢放。戴霖表示,六讯道并不是代表系统的收录能力做到多好,而是说在界面上实时能够展示的是六讯道,当然可以录更多的,刚才也说过,其实他们系统能够做到27个高清信号同时进行收录。在4K方面也可以支持四讯道4K 50P信号录制和两讯道回放。4K 50P折算到高清的话,实际上是相当于8个高清的计算能力的需要,能支持到4K 50P的四信道。包括超过1000条素材的打点存放,支持建立超过100个播放列表,支持多达256个Mark点,包括专业操作面板,刚才说了这是强操作的系统。
慢动作360度全角度环绕拍摄系统最适用的是体育节目,就是动作幅度比较大的,动作幅度越大越能展现它的冲击力,所以体育是当仁不让的这个系统最适合的一个应用。综艺也可以,因为综艺实际上包括一些舞蹈等等的动作,实际上也是非常适合于这样的系统应用。还有就是一些其它的应用,这里画了一个问号,实际上是希望大家开拓一下想象力,去挖掘这个系统在更多的行业或者场景应用。
戴霖总结道:“未来的技术发展规划,这里头简单说一下,两条,第一条是引入HFR高帧率的拍摄,我们计划将帧率提升到100P,这样的话,可以打幅度减少运动模糊,能够让拍摄的质量提得更高。因为我刚才也说了,实际上这个系统最适合应用于大动作的场景,所以100P对这样的场景是非常有帮助的。第二个是采用基于定云的多视角三维重建技术,其实这个跟刚才我们所说的帧间差值是非常相关的,如果想达成非常高的帧间差值的话,就需要知道被收录的每一点的景深,如果有了这个景深的信息,就能够很好地进行帧的间的差值,实际上这样的云技术,实际上是通过多角度的拍摄来进行被摄物的三维重建。回顾一下这样的一个系统适合电视直播360度的全角度慢动作回放系统,它实际上是一个慢动作+多角度收录,加上子弹拍摄的系统,最终形成了我们的VSE Motion。我最开头也说过,现在VR实际上是很多也在采用这样的技术来进行实物的虚拟化,是这样的方式。这也是未来我们的两条技术路线,往这个方向去走。”