内容安全首家！金山云金睛即日开放底层机器学习标签

 

“AI+人工”是当前主流的审核方式，AI提升了审核效率，人机协同策略提供了双重保障。随着平台规模不断扩大，违规内容越加复杂多元，如何实现“效率+1”，就对人机协同提出了更高的要求。“金睛”开放底层机器学习标签，就是为了进一步将机器识别结果从涉黄、涉恐、敏感内容等宽泛标签，开放到男性露背、涉旗涉徽、大型武器、特殊着装等更加细分的标签，实现了“机审”和“人审”的无缝衔接。

 

“pass”或者“reject”是AI传递的一个果断的答案，但不一定是会被审核员完全采信的结论。要让信息接收方做出正确的选择，给出明确的判定理由就变得尤为重要，底层机器学习标签就是发挥了这样一个“阐释”的作用。“金睛”在对内容做出“拒绝”、“疑似”或者“通过”的判定基础上，会同步输出底层机器学习标签内容，让审核员清楚的知道AI为什么拒绝、通过，疑似的又是什么。例如，在“金睛”暴恐违规审核模型下，AI识别出极端组织场景，除了会输出“拒绝”指令，并会明确告知拒绝理由是因为内容中所涵盖了基地组织标志或者其他极端组织深度学习标签内容，为人工复审提供信息判定支撑。目前，金山云深度学习标签涵盖涉黄、涉恐、涉政、违规违法、游戏场景、直播场景等十几个场景的几百大类的上千标签，后续将会逐步开放。

 

此次，“金睛”开放底层机器学习标签，进一步优化平台服务，是产品团队多次深入到B站、映客等国内一线短视频、直播审核团队，充分调研的结果。公开机器学习标签一方面极大提升平台方人工复审的效率，节约了运营成本，为客户根据自身的运营策略作出及时有效的判断提供了便利。另外，根据机器输出的结论，可以定向的对于特定模型进行调优，实现一个良性循环。通过此举，不断增加“金睛”与审核员之间、“金睛”与开发者之间的人机协同性，让AI更好的参与到“互联网内容传播”这件“人”的活动中去。