7月6日,第一届网媒融合前沿论坛举行期间,中国工程院院士,深圳大学电子与信息工程学院院长、特聘救授丁文华做了题为《媒体发展与数字创意技术》的主旨报告。
数字创意产业需要以数字技术及数字装备作为底座,随着产业的发展需要,进一步又增添了创作设计的支撑,整体产业还划分了数字创意内容软体的核心领域及产品实体的跨界领域范畴。近些年还引入了新兴领域,也就是VR/AR产业、元宇宙等。
数字对象的生产体系
LLM具备文本逻辑推理、上下文理解、多轮对话能力,使得AI产生了通用性的文本创作能力,已超过原有的搜索(知识问答),标志着AGI的诞生。相对于传统的AI模型,AGI大模型基于一个模型便能适配多业务场景,模型参数量大,可学习海量的数据知识,其泛化能力也强,可基于人类反馈进行强化学习。
AIGC正改变数字内容生成方式,特别是2022年OpenAI进入到了DALL-E2后,AIGC的应用场景掀起了广泛的潮流,主要在AI作画、AI创作视频等方面。
面向元宇宙数字对象的生成技术方面,构成数字环境的基本方法为数据采集、3D建模、材质贴图、图像渲染等。数据采集主要是采集数字环境的三维数据信息,3D建模是根据采集信息建模或导入已有模型,材质贴图是将3D模型展开成2D平面并赋予材质,图像渲染则是通过渲染引擎实时计算出光影等呈现效果。
构建数字人的基本方法中主要涉及了扫描、建模、驱动、渲染的过程,具体而言像传统数字人构建方法中,需要对对象进行全身3D扫描,其建模数据量也是非常巨大的,MC驱动要依靠真人“动作+表情”来进行捕捉,需要正向渲染以完善数字人构建,其只是具有弱交互的能力。面向未来的话,可以基于AI进行数字人构建,通过多角度照片来替代全身扫描,使已有建模模型与AI的结合实现逼近真人效果,更能利用大模型实现具身交互能力。
在计算机视觉效果引擎及平台技术方面,传统的主要是基于时间或空间切片的渲染引擎,主要还是基于物理的引擎方式,特别是像体育转播中的时间切片技术。而未来的视觉引擎可面向多维度发展,其实时渲染效果可达到多感官协同体验要求,例如基于三维AR的医疗诊断概念,其代表的是生物引擎、化学引擎等全新方式。
数字世界的构建及服务体系
在未来专用视频编解码技术突破方面,可进一步面向内容和对象的视频编码迈进,如基于内容感知的视频编码,其中也可引入机器视觉的感知提取等。在元宇宙的语义编码中,其传输对象将实现从2D向3D的演变,如何实现矢量化全集传输,以及如何终端按需局部呈现等都将是新的挑战。
元宇宙场景下,传输对象变更为海量3D数字对象,需要全新的传输架构和处理机制,基于云边端的混合分发技术将是未来的架构,对数字基础设施要求也会发生新的变化,对智算、超算能力需要也会更高。
在未来的数字服务融合体系中,XR近眼显示技术会改变用户入口方式,是主要的入口方式。像当前阶段,VR HMD近眼显示技术中Fast-LCD已成为主流配置,光学成像方面Pancake透镜也逐步取代了Fresnel透镜,能够显著降低HMD的体积和重量。
新推出的Apple Vision Pro在对外宣传中,其单眼已接近4K的显示水平,能实现便捷的人机交互(包括眼动追踪、手势追踪及声音控制),其图像处理方面具备Persona的孪生数字人实时交互功能。
AR Glasses近眼显示技术方面,当前各家的技术路线很是多样,MicroLED已经初露端倪,光学成像方面衍射光波导也正逐渐成为市场主流选择,其采用了衍射光栅以取代传统阵列光波导中的半透半反镜,可实现二维扩瞳。
此外,智能网联车技术的演进也正助力智能座舱打造起“第三空间”场景,重点将探索开发人机交互、舱内感知、车载信息娱乐分发、车内/车外信息交互等多方面的应用体验。
在元宇宙的规则引擎方面,需要注意到,元宇宙建立的虚拟世界与现实世界交融,会带来用户准入、数字资产保护、隐私保护等一系列问题,因此需要制定相应的规则体系,并开发底层的规则引擎予以支撑。
最后丁文华院士表示,数字创意正为元宇宙发展提供基础支撑技术,具备着广阔的产业应用前景。数字创意也具有显著的学科交融特性,单一学科无法满足培养要,需要建立跨学科综合培养体系。数字创意技术在研究方向方面覆盖广泛,因此也欢迎大家关注加入,共同推动产业向前发展。