2021年5月27日下午，国家广电总局原副总工程师杜百川在北京国际会议中心举办的第二十八届中国国际广播电视信息网络展览会（CCBN）上做了题为《加快建立智慧广电开放算法平台和评估体系》的主题报告。
以下为演讲全文：
各位嘉宾下午好！下午说了很多有关人工智能和大数据方面的应用和发展，很令人振奋。但是人工智能的大数据也必须有相应的评价体系，应当说智慧广电，我的理解是指利用算法、大数据、AI、物联网、区块链等新技术促进广电各方面工作的智能、高效、协调、高质量发展。
刚才科大讯飞也说了大数据和AI在整个行业都得到了广泛的应用，比如说机器主持人、机器人撰稿、内容和演员选择、节目价值评价，以及传输的智能路由、智能边缘、智能分发、接收的智能操作系统、智能推荐，包括整个的智能运维和安全都已经用到了AI和大数据。但是AI的应用越来越广泛，正在影响全球商业和私人生活，涉及到巨大的机遇和风险。AI的许多技术活动，包括了网络优化、饮食安全、数据管理、语义互操作性以及所有领域，这些都必须要考虑人的因素，这里面包括这几个方面。
第一，在AI使用当中，包括伦理要求，比如说电子卫生保健，饮食安全。第二，通过对使用AI的系统进行适当的测试和评估来确保安全性。第三，克服一些与AI相关的安全性问题，就是有些算法是不透明的，你不知道在干什么，有时候会出现问题。我们前面讲的都是好的地方，实际上是有安全问题的。第四是更好地管理和表征AI所使用的数据，包括来自IoT的系统数据。为了加快广电AI的应用，可靠性和信任度，有必要建立开放的广电应用算法平台和建立健全的测试评价体系。
我们可以举一个例子，欧盟在这方面，对AI要求以人为本，2019年4月，EC HLEG（高级别道德小组）发布了一系列“可信赖AI伦理准则”，包括要求鼓励在欧盟标准化路线图中考虑七类要求：可问责，人类代理，技术稳健性，隐私和数据治理，透明度，非歧视性和社会效益。欧洲议会的一项原则，算法问责制和透明度的治理框架建议，创建一个用于算法决策的监管机构，来定义可用于区分可接受的算法和不可接受的算法，以及可接受的决策系统和不可接受决策系统的指标。并不是所有的AI都是可接受的。
2020年2月，EC的AI人工智能白皮书-“欧洲实现卓越和信任方法”确认有必要对个人和整个社会进行风险评估，支持传统价值观和基本权利，包括安全和赔偿责任，以及消除种族和性别偏见，有必要在当前单独工作的各个学科之间搭起桥梁。我们要有一个公共的平台，在这方面，我国的大数据立法，在国家层面已经有了，但还不是很完善，国家层面除了在《中华人民共和国宪法》，《中华人民共和国网络安全法》，《中华人民共和国民法总责》当中有涉及个人信息和隐私保护条款，还有一些指导意见和行业规范意见当中对数据安全保护提出了宏观要求，比如说国务院印发的《关于运用大数据加强对市场主体服务和监管的若干意见》，中国人民银行制定并发布的《个人信用信息基础数据库管理暂行办法》，国家网信办制定的《个人信息和重要数据出境安全评估办法（征求意见稿）》对我国境内进行个人信息和重要数据收集的网络运营商提出了需进行安全评估等要求。
地方层面，2017年浙江省发布《浙江省公共数据和电子政务管理办法》，2018年贵阳市发布了《贵阳市大数据安全管理条例》，2020年深圳市印发《深圳经济特区数据条例（征求意稿）》，从个人数据保护、公共数据管理和应用、数据要素市场培育、数据安全管理、法律责任等方面全面对自然人、法人和非法人组织数据的相关权益进行了规范，并首次提出了数据权的概念。
国家层面的大数据的立法，是由信标委来组织的，分成了管理、数据、技术、平台工具，治理与管理，安全与隐私等方面，非常全面。人工智能方面，也提出了治理的方法和目标，也就是说，要坚持科技造福人类，平衡发展和有效治理的关系，要求全面释放人工智能带来的红利与价值。如何全面释放，关键在于后面要精确防范，并应对人工智能可能带来的风险，也只有控制好风险，也就是只有你有刹车，你的车才能开得安全。已经发布了多项大数据国标，大概有30多项，我就不一一念了，非常全面，包括评估方面的，成熟度模型等等，总局也加强了大数据的合规管理。2020年4月，国家广电总局发布了6号令《广播电视行业统计管理规定》，该规定用于广播电视主管部门依法调查、搜集、整理、研究和提供广播电视、网络视听节目服务统计资料，包括大数据统计资料，广播电视行业的统计活动。按照6号令，广播电视主管部门应当依托大数据统计信息系统，统筹收视收听率（点击率），统计工作，对数据的采集、发布进行监督；任何机构和个人不得干扰、破坏广播电视主管部门依法开展的收视收听率（点击率）统计工作，不得制造虚假的收视收听率（点击率）。
2020年4月广电总局下发74号文和修订版的《广播电视和网络视听统计调查制度》，明确统计对象和范围为全国广播电视和网络视听行政事业单位、企业单位以及产业活动单位。调查制度还规定调整了网络视听节目服务、IPTV、互联网电视（OTT）和短视频等网络视听报表，新增对产业基地（园区）的统计，并强化了高清超高清、智能终端等内容。
同时，2021年5月科技司制定和发布《网络视听收视大数据技术规范第一部分：总体要求》第二部分，数据元素集，第三部分接口，《广播电视和网络视听收视综合评价数据脱敏规则》，广电对大数据标准制定了大数据集，跟刚才国家的类似。同时，也制定了大数据治理的框架，这个我就不一一详细说了。影视保护技术是随时间进步的，比如说刚开始是匿名化，在大数据时代加了去识别，到了AI和机器学习阶段，有了影视增强。隐私保护相关问题，也有一定的相关解决措施，有四个方面。第一个方面是数据偏见，怎么来纠正，拒绝有些错误的分类。第二是采取对抗的办法，这方面相应标准是ISO/IEC的TR24028和24027。数据中毒，加强异常检测；数据消毒，对新加入数据进行精确的检查。第三是模式抽取，主要是PATE和误导对手，这个也有相应的标准。第四是隐藏或者是隐匿，我想办法躲在你的数据里，采取的什么办法呢？对抗训练和深度的池。实际上AI和数据的国际标准，主要是由ISO/IEC/JTC1和SC42，一共有五个工作组，第一个工作组是基础标准，第二个是大数据，第三个是可信任度，第四个是用例和应用，第五个是AI系统的计算方法和技术特征。我们注意，这个工作组实际上名字是AI工作组，但是大数据是其中的一个分工作组。
各个工作组都制定了相应的标准，已经颁布的就是我现在用粗体字表示的，都是近一两年，2019年、2018年、2020年有关的标准。国内刚才说的那些标准也是相应采取的。这里面就包括了去年颁布的可信任度的标准评估。第二个是评价，神经网络鲁棒性的评价，有一系列的对AI算法和AI系统的评估。用例和应用当中也有一个，用例已经发过了，还有治理应用，我就不再详细说了。
对于广电来说，我们现在尽管大数据和AI得到了广泛的应用，但是也存在着不少问题，比如说很多地方都是独立的投入，而且很多是相似的方案，这样浪费了投资。相对来说，训练的序列也比较少，所以范围也小，迭代的机会不高，体量也不高，还缺乏广电专用的大数据和AI应用算法的开放平台。我们和讯飞合作，讯飞那儿有，但是广电还有很多基础应用上没有开放的平台，算法各自也没有迭代。广电专用平台能够减少整体投资，扩大训练规模和范围，加速迭代升级速度来提高质量。我们举一个例子，GitHub是一个开放的算法平台，包括腾讯，包括百度，都在这上面有，很多应用范围都可以直接利用他的算法，包括代码直接进行升级、运算，同时也提高了平台算法的进步，增强了他的进步。我一直想这个问题，安卓开始也是开放平台，中国提供了很多促进他的方式和方法，但是最后不让我们用。GitHub现在都是公开的，还是可以用，我们有这么大的用户量，为什么我们自己不弄一个开放平台。
对于测试来说，最基本的测试，图灵测试，我们可以看到，评估者不知道的一面墙，响应A是人类，响应B是机器，看看评估者能不能判断是机器还是人，这是最基本的测试。
但是对于ICT生态系统支持的AI系统应该包括这么几个链条，第一是数据源，包括图像、文字、IoT，第二个是计算环境，包括边缘，包括云。第三个是AI引擎，或者是单独的AI引擎，第四个是AI服务和应用。对于AI和大数据的测试，也包括了这四个方面。
四个方面，因为AI当中总会存在一些失败点，对于任何AI系统的测试策略都必须仔细构建来降低失败的风险。为此，首先必须确定一个AI框架是处于哪个部分和阶段，然后定义一个跨整个框架要采用哪些特定的测试技术的综合测试策略，为确保AI系统正常发挥作用，一般有四种常见的测试。第一是基本认知测试，就是单项测试，比如说自然语言处理，语音识别，图象识别，光学字符识别，根据不同的能力和应用的要求给出相应的指标，这是第一项测试。第二是AI平台测试，比如说华为的Atlas，百度的PaddlePaddle，腾讯的TI-ONE，IBM的Watson，Azure的ML Studio等等，这都属于平台。第三是基于ML的分析模型的测试。第四是AI驱动的解决方案的测试。除了平台测试以外，这三个测试都比较好理解，我们下面专门说一下平台的测试，实际上也包括了四个部分。
第一是数据源和整理测试。一要核查不同系统来的数据质量——数据正确性、完整性和适合性，以及格式检查、数据溯源和样式分析。二要核查加到原始数据的转换规则和逻辑，是不是能得到期望的输出格式，任何性质的数据、表格、纯文本或者是大数据，测试方法和自动框架是不是都能起作用。核查输出查询或程序可提供想要的数据输出，还有就是正面和负面的场景测试。第二是算法测试，这个我就不再详细说了。第三是API的完整性测试，核查每个API的输入请求和响应，包括相应对是不是完整，测试部件间通信，执行API和算法的完整性测试。第四是系统和回归测试。
欧洲对AI的测试框架制定了相应的标准，我们就不一一详细说了，希望我们能够在不久的将来建立我们自己的测试平台和相应的评估办法。谢谢大家！
