APP下载

脸书开源可精确评估多对多翻译模型的Flores-101资料集

消息来源:baojiabao.com 作者: 发布时间:2026-02-17

报价宝综合消息脸书开源可精确评估多对多翻译模型的Flores-101资料集

脸书开源了FLORES-101资料集,这是一个涵盖101种语言的多对多评估资料集,可以用来测试并且改进多语言翻译模型。

脸书最近发表了重要的语言模型M2M-100,能够翻译100种不同的语言,但是脸书提到,新的翻译系统需要使用更为先进的工具进行测试。因此他们创建了FLORES-101,用来突破语言障碍,并且协助开发人员创建更多样化的翻译工具,脸书现正制作更加完整的FLORES-101资料集、技术报告和数个模型,供研究社群使用,以加速全球翻译系统的发展。

之所以评估很重要,脸书解释,这就像是烤蛋糕一样,如果无法品尝蛋糕,就无法知道优缺点,也就没办法在之后进行改进,而评估翻译系统效能的道理相同。评估翻译系统一直是人工智能研究人员的挑战,当无法良好地衡量或是比较翻译系统的结果,就无法发展出更好的翻译系统,脸书表示,人工智能社群需要一个开放且易于取用的方法,来评估和测量多对多翻译模型,并且方便地与其他模型进行比较。

过去这个工作很大程度仰赖英文翻译,但这仅有英语使用者受益,不足以满足需要准确翻译区域语言的需求,像是在印度,宪法就承认了20种官方语言。为了解决这个问题,脸书创建了FLORES-101资料集,这个资料集主要针对低资源语言,像是蒙古语和乌都语等,这些语言目前都没有可用于自然语言处理研究的大量资料集。

透过FLORES-101,研究人员首次可以利用10,100个不同语言方向,可靠地评估翻译品质,像是从印地语到泰语或是史瓦希利语,脸书提到,他们从一开始在设计FLORES-101的时候,就考量到多对多翻译,这个资料集包含所有语言相同的语句集,让研究人员可以评估任何方向翻译的效能。

FLORES-101资料集经过许多人工步骤制作而成,每个文件都由专业翻译人员翻译,再以人工编辑进行验证,脸书还找人来检查拼写、语法、标点和格式,以控制翻译的品质,并使用商业引擎的翻译进行比较。之后由另一组不同的翻译人员进行人工评估,找出包括不自然的翻译和语法等错误,根据错误的严重程度重新翻译。

除了要求翻译品质之外,FLORES-101的特点包括针对低资源语言设计,在FLORES-101中有80%的语言都是低资源语言,而且翻译的文字横跨多个领域内容,有新闻、旅游指南和不同主题的书籍。

FLORES-101的翻译文字都是以文件为单位,脸书提到,机器翻译的最新研究显示,需要文件或是超过单一句子的翻译资料集,借由将上下文列入考量,才会使翻译效果更好,而FLORES-101中翻译文件中的多个相邻句子,可以用来评估加入上下文考量的翻译品质。另外,FLORES-101还提供了翻译的后设资料,包括超链接、URL、图像和文章标题等资讯。

脸书表示,FLORES-101是一个实现多对多模型评估的资料集,并且透过这个新的资料集,可以加速包括M2M-100等多语言翻译模型的开发工作,尤其使得低资源语言的机器翻译,能够获得更多的进展。

2021-06-08 00:10:00

相关文章