脸书开源可精确评估多对多翻译模型的Flores-101资料集

脸书开源了FLORES-101资料集，这是一个涵盖101种语言的多对多评估资料集，可以用来测试并且改进多语言翻译模型。

脸书最近发表了重要的语言模型M2M-100，能够翻译100种不同的语言，但是脸书提到，新的翻译系统需要使用更为先进的工具进行测试。因此他们创建了FLORES-101，用来突破语言障碍，并且协助开发人员创建更多样化的翻译工具，脸书现正制作更加完整的FLORES-101资料集、技术报告和数个模型，供研究社群使用，以加速全球翻译系统的发展。

之所以评估很重要，脸书解释，这就像是烤蛋糕一样，如果无法品尝蛋糕，就无法知道优缺点，也就没办法在之后进行改进，而评估翻译系统效能的道理相同。评估翻译系统一直是人工智能研究人员的挑战，当无法良好地衡量或是比较翻译系统的结果，就无法发展出更好的翻译系统，脸书表示，人工智能社群需要一个开放且易于取用的方法，来评估和测量多对多翻译模型，并且方便地与其他模型进行比较。

过去这个工作很大程度仰赖英文翻译，但这仅有英语使用者受益，不足以满足需要准确翻译区域语言的需求，像是在印度，宪法就承认了20种官方语言。为了解决这个问题，脸书创建了FLORES-101资料集，这个资料集主要针对低资源语言，像是蒙古语和乌都语等，这些语言目前都没有可用于自然语言处理研究的大量资料集。

透过FLORES-101，研究人员首次可以利用10,100个不同语言方向，可靠地评估翻译品质，像是从印地语到泰语或是史瓦希利语，脸书提到，他们从一开始在设计FLORES-101的时候，就考量到多对多翻译，这个资料集包含所有语言相同的语句集，让研究人员可以评估任何方向翻译的效能。

FLORES-101资料集经过许多人工步骤制作而成，每个文件都由专业翻译人员翻译，再以人工编辑进行验证，脸书还找人来检查拼写、语法、标点和格式，以控制翻译的品质，并使用商业引擎的翻译进行比较。之后由另一组不同的翻译人员进行人工评估，找出包括不自然的翻译和语法等错误，根据错误的严重程度重新翻译。

除了要求翻译品质之外，FLORES-101的特点包括针对低资源语言设计，在FLORES-101中有80％的语言都是低资源语言，而且翻译的文字横跨多个领域内容，有新闻、旅游指南和不同主题的书籍。

FLORES-101的翻译文字都是以文件为单位，脸书提到，机器翻译的最新研究显示，需要文件或是超过单一句子的翻译资料集，借由将上下文列入考量，才会使翻译效果更好，而FLORES-101中翻译文件中的多个相邻句子，可以用来评估加入上下文考量的翻译品质。另外，FLORES-101还提供了翻译的后设资料，包括超链接、URL、图像和文章标题等资讯。

脸书表示，FLORES-101是一个实现多对多模型评估的资料集，并且透过这个新的资料集，可以加速包括M2M-100等多语言翻译模型的开发工作，尤其使得低资源语言的机器翻译，能够获得更多的进展。