近日，一篇由迪士尼研究所和几所大学的研究人员撰写的论文发布，文章介绍了一种基于深度学习的程序语言动画新方法。
该系统对人类说话录音进行采样，并使它自动生成匹配的嘴型动画。该方法可以应用到从提高管道动画的效率到使VR社交更有说服力，它可以在VR社交中实时化地呈现角色的演讲内容。
迪士尼研究所、加拿大东加利福尼亚理工大学和卡内基梅隆大学的研究人员撰写了这篇题为《广义语音动画深度学习方法》的论文。论文描述了一种已经用“深度学习/神经网络”方法训练的系统，利用单个扬声器8小时的参考画面（2543句），教导系统根据不同的语音单元（称为音素）配合生成不同嘴型及其组合。
经过训练的系统可以自主分析来自任何扬声器的音频，并自动产生相应的嘴型，然后将其用于动画模型的自动语音生成。
在VR中，该系统可以通过用户语音实时对应虚拟角色的嘴型，使其更加逼真。
一些社交应用已经在使用各种系统进行嘴形跟踪。Oculus为Unity提供了一个嘴型同步插件，其原理是基于音频输入来确定角色说话嘴型。然而与迪士尼提供的新系统相比，细节性和准确性都差了些。
责任编辑：吴一波
相关推荐
迪士尼将和AR公司合作建设神秘实验室
7月18日上午，美国增强现实创业公司MagicLeapCEO罗尼·阿伯维茨(RonyAbovitz)表示，该公司将与迪士尼的合作在旧金山开发一处秘密实验室，邀请开发者在其发布产品前在那里测试项目。该实验室其实并不算秘密，阿伯维茨披露它的位置——位于卢卡斯影业旧金山Presidio园区里的Yoda喷泉附近。阿伯维茨还表示，目前为止已经有数千人见过该公司的技术。但可惜的是
星战迷福音！联想要和迪士尼联合推出星战版AR游戏设备
联想与迪士尼联合推出《星球大战》AR游戏硬件
进击的迪士尼：这家动画巨头为什么频频在 VR/AR 上露出了獠牙？