AI逐渐成熟，让人们的生活越来越便捷，同时也解决了人们生活中的很多障碍，比如语言障碍。
Facebook懒理隐私风波，新鲜出炉了“多语种句嵌入”，是一款解决语言障碍的神器。Facebook提出了一种新架构，为横跨34个语族、28种不同文字写成的93种语言，学习了统一的联合多语种句嵌入。
例如，只要用标注好的英语数据训练一个分类器算法，教会它判断一个英语句子是不是少儿不宜，AI就可以无缝迁移到其他语言上，不管你是德语、法语还是汉语方言，它都能判断有没有少儿不宜。
Facebook最新多语种嵌入出炉(图片来自softpedia）
Facebook这款神器由编码器、解码器两大部分组成。其中，编码器是个无关语种的BiLSTM，负责构建句嵌入，这些句嵌入接下来会通过线性变来换初始化LSTM解码器。而且编码器最好不知道输入的究竟是什么语言，这样才能学会区别于此语种的表示。相反，解码器有着完全不同的需求，它需要知道输入的究竟是什么语言，才能得出相应的输出。
为了训练这样一个系统，Facebook用了16个英伟达V100 GPU，将batch size设置为12.8万个token，一共训练了17个周期，用包含14种语言的跨语种自然语言推断数据集进行本次测试。另外，Facebook用其他任务测试了这个系统，包括ML-Doc数据集上的分类任务、BUCC双语文本数据挖掘。
本文属于原创文章，如若转载，请注明来源：AI让93种语言相通 Facebook最新多语种嵌入出炉//smartcity.zol.com.cn/706/7062894.html
