NAB Show Shanghai及上海国际电影电视节白玉兰国际广播影视技术研讨会(IBTC2018)于2018年6月15日在上海正式召开,本次会议以“智融合·创未来——智慧广电的发展与趋势”为主题。大会现场,亚马逊AWS云计算首席企业战略顾问张侠博士以《人工智能机器学习在广电行业的应用场景、应用创新和解决方案》为题发表了精彩的演讲。
图为:亚马逊AWS云计算首席企业战略顾问 张侠博士
什么是机器学习?张侠博士解释道,首先人工智能指的是制造职能的机器和程序,那么机器学习就是指不需要直接编程而学习的能力;而深度学习,便是基于深度神经网络而学习。
深度学习的降临随着人工智能自然语义理解和自动化的成长已经开始起步,在应用上,亚马逊的机器学习是一个典范的例子。亚马逊靠一系列数字化创新取得了今天这个成就,在电商领域很早便采用人工智能搜索推荐,在仓库里更是用到了人工智能做物流配送,据张侠表示目前该项产品已经实现了75%左右的市场占有率。
机器学习可提供新的机会:
1、自动化
优化现有流程;改进质量和降低成本。
2、丰富化
使得产品内容变得更为丰盛,服务功能也更加完善,同时更能吸引新的客户参与进来。
3、创新化
创造全新的客户体验,利用行业知识和人工智能可创造新的业务和业务模式。
同时亚马逊AWS与微软有一个专门的API共用界面,还有一些ONNX框架,以帮助不同框架之间交换架构。
AWS提供了很多现成的人工智能服务。第一个是图形识别的工具,它既能识别静态图形,还可以直接识别广电业常见的动画视频;第二个可以把各种语言直接记录下来成文字;第三个,在不同语言之间做翻译;第四个,以拟人化的方式用以语音播放出来;第五个为自然语义理解,机器可以直接理解语言的内容;第六个即人机对话引擎。
机器学习的应用案例
1、媒体元素据标注:包括标签信息与标签数据。可以从音频、视频中直接抽取生成丰富的元数据或者标签数据,这些数据包括了场景活动,可以将关键信息直接抓取出来。
2、个性化广告:可以实现广告场景化,并且能依据情绪化特征设置个性化的广告。
3、自动字幕及翻译:可以生成和翻译多种语言,实时的记录内容并迅速作出理解反应。
4、自动合规标注:这个功能可检测出各种不合适的内容、不雅内容,使内容更加合规性。
机器学习在广电行业的应用案例
张侠介绍道,机器学习可以适用到视频识别中,在画面里识别人员并跟踪其活动路径,如把这些关键人物的出现时间和离开时间打上标签时间代码,通过视觉声音等各种方式直接标注出人员进入和离开某个场景时间,为后期采编工作提供很多方便。通过语言翻译可直接翻译这些语言的元素,包括这些标签的元素等。在内容推荐方面,可分析各类数据,帮助用户做出定制化内容,了解客户的行为等。而自动编辑功能,则可以依靠机器的判断将关键人物特征进行特写化或者马赛克处理掉,非常的方便灵活。
自动元数据生成
亚马逊云上有大量现成工具,借此张侠分别演示了自动元数据生成、自动字幕生成和翻译、体育节目精彩回放、皇家婚礼、推荐引擎等,这些都是基于人工智能技术才得以实现的。
媒体分析解决方案架构
亚马逊把人工智能交给普通用户和开发者手里,基于了云和现成服务架构,广电行业采用亚马逊的机器学习体系,从数据处理到调用机器学习和AI服务,都是通过数据库实现的。亚马逊AWS可实现从内容获取一直到媒体供应链、到播发分放、到OTT数字出版、甚至到互联网流媒体直播等,可与许多客户对接,并提出很多的解决方案。
媒体分析解决方案界面
在广电行业使用亚马逊机器学习可实现从内容索引到元数据生成,从内容提取到元数据执行,提供了一套解决方案。
AWS可以全方位满足媒体需求:从内容的获取、媒体管理及归档、形成媒体供应链、数字出版、大数据分析、进入到OTT端口、播出及分发,完全覆盖了整个过程。
AWS服务于媒体工作流:从摄取创作到存储,从处理内容到交付播放,能够满足于不断扩充的媒体服务。
多种方式实现部署:利用AWS产品在AWS核心服务基础上建立媒体工作流, 充分利用AWS的生态系统,可能的话甚至能直接使用各种现成的解决方案。
AWS传媒类部分客户
张侠最后表示,AWS的合作客户包括有流媒体巨头netflix的基本上全部信息化内容都是部署在aws云上的,其余的还与HULU 、BBC等国外媒体都有合作,此外与国内的东方明珠、芒果TV等知名媒体都有战略合作。