脸书开源可直接翻译上百种语言的AI模型
报价宝综合消息脸书开源可直接翻译上百种语言的AI模型
图片来源:
脸书
脸书昨（19）日宣布将首个不需透过英语、可直接翻译两种语言的AI模型M2M-100开源出来。
脸书指出，一般机器翻译需要为每种语言及每种任务建立一种AI模型，由于英语训练资料较充裕，因此形成以英语为中心的翻译模式；碰上要翻译非英语的两种语言，例如中文和法文时，大部分机器翻译采取法文翻成英文，再由英文翻成中文。脸书指出，这种需要以英文为中介的翻译会导致原意流失或翻译错误，并不适合脸书平台上160多种语言贴文翻译的需求。
今天于GitHub释出的M2M-100是脸书AI多年机器翻译研究的成果。它是第一个不需仰赖英语直接为100种语言中的2种进行翻译的单一多语言机器翻译（multilingual machine translation，MMT）。脸书解释，该公司利用新的探勘技术取得翻译资料，并以找来的1000亿句子为基础建立“多对多”的资料集，这个多对多系统也是第一个使用脸书最新PyTorch library Fairscale的系统，形成的资料集包含100种语言、2,200 种翻译方向（如中文到法语算一种）的75亿句子。最后他们使用多种技术来训练这个具备150亿个参数的单一模型。
脸书指出，名为M2M-100的模型可搜集相关语言资讯，反映更多元化语言及构词学的面向。脸书声称，根据一次BLEU（bilingual evaluation understudy，比较机器翻译和1个以上人工参考翻译的品质量测）测试下，该模型和传统双语翻译效果一样好，并比脸书现在以英文为中心的多语言翻译模型还高出10分。
脸书表示未来计划以M2M-100来取代现行使用的机器翻译模型，来提升平台上的语言翻译品质，特别是数百万人使用的弱势语言。
