产业实践 | 阿里研发AI技术可识别拦截数十国多语种脏话图

近日，阿里安全算法团队宣布，其研发用于网络脏话的AI（OCR）技术，已能识别近30种语言。

包括嵌入图片中的英文、阿拉伯、俄语、法语、西语、日语、韩语、泰语、越南语、波斯语、孟加拉、尼泊尔、僧伽罗、朝鲜、苏丹、德语、荷兰语，以及马来语、塔加洛语、土耳其语、意大利语、印尼语等国语言，甚至还包括三种中国少数民族语言。

俄语脏话示意（左）暗藏英语脏话图（右）

阿里安全高级算法工程师沄帆介绍，要识别多语种文字，就要了解各个语言文字特点，以及影响算法识别的问题。

每种文字体系都有自己的字体，不同字体会导致同一字符出现字形上的差异，例如下图一展示了汉字“字”在不同字体时的形态，以及手写文字中的字符变化。

下图二则展示了俄语字母在手写体和印刷体时的差异，红框标出了部分字符会出现字形上的巨大变化。

图一（左）图二（右）

 “字符连接导致字形变化，不同文字体系，书写及阅读顺序是不同的，这些都会影响AI识别和对语义的判断。”沄帆说。

例如，相同的单词在不同的语种里也可能有不同的含义，“jammer”在荷兰语里是“遗憾”的意思，但是在英语中是“信号屏蔽器”，可能涉及违规。

“以前没有多语种识别功能的时候，我们如果把这个口语词直接拦截，可能会造成‘误杀’，脏话图识别也是如此，要依据语种来判断。”

除此之外，还有脏话图以置换正常字符顺序，对抗风控的情况出现，如下图所示，即使调换字符顺序，人还是可以轻而易举地判断单词的含义，但这种“攻击”试图以打乱字母顺序的方式骗过机器识别。

  对抗的脏话图

当然，要训练如此多语种的识别模型，并解决多种对抗情况并不容易。技术团队既要保证好的识别效果，又要尽可能提高计算效率及控制成本，解决好训练样本及模型方案的问题。

通过一年多努力研究，阿里安全算法团队对这些点进行了逐个突破，通过改进多语言样本生成方案与多语种识别模型框架，在多种图片语言的识别上做到了高识别率，以及做到识别1张脏话图只需0.15秒的速度，目前该技术也已应用在阿里多项国际业务中，总体识别准确率可达95%以上，并对各种艺术字体、复杂背景以及手写图进行了针对性识别优化。

其实，脏话拦截只是多语种OCR识别技术应用的场景之一，阿里安全国际风控小二文萱介绍，在交互场景里，违规信息中还有大部分属于垃圾信息。

现在，基于阿里安全的算法能力，每天仅单个国际平台就为全球用户拦截几万次包含危险、辱骂、垃圾文本的多语言脏话图片。

阿里安全图灵实验室算法负责人薛晖表示：“期待以科技创新解决实际业务问题，帮助造就更好的网络环境和网络安全。”

更多人工智能治理和可持续发展技术

干货+产业实践分享

点击下方名片关注和星标

【阿里巴巴人工智能治理与可持续发展实验室】

为即将到来的更多治理干货点