资源|Petuum&CMU开源Texar:一个模块化、多功能、可扩展的文本生成工具包
消息来源:baojiabao.com 作者: 发布时间:2024-05-03
选自Petuum
机器之心编译
参与:张倩、王淑婷
为促成不同文本生成任务的快速搭建以及任务之间的技术共享,由 Petuum 公司和卡耐基梅隆大学 (CMU) 为主要贡献者的通用工具包——Texar 正式开源。该工具包支持广泛的机器学习应用,重点聚焦于文本生成任务,尤其适合从事快速模型原型设计和实验的研究人员及从业者。
文本生成简介
文本生成旨在基于输入数据或机器表示生成自然语言, 包括广泛的自然语言处理(NLP)任务,例如机器翻译、对话系统、文本摘要、文章写作、文本复述及修改、图像加注等。尽管由于深度学习方法的整合,该领域在学术和产业方面都发展迅速,但为了改进技术、真正实现在现实世界的应用,还需要投入巨大的科研力量。
文本生成任务有很多共同的属性及两个中心目标:
生成人类水平的、合乎语法的可读文本。
生成包含所有从输入中推断出的相关信息的文本。例如,在机器翻译中,生成的翻译句子必须与原句表达相同的含义。
为了达到这些目标,几种关键技术的应用越来越广泛,如神经编码-解码器、注意力机制、记忆网络、对抗方法、强化学习、结构化监督,以及优化、数据预处理、结果后处理和评价等。这些技术经常以多种不同的方式结合在一起,解决不同的问题(见图 1)。
图 1:文本生成任务中用到的几种模型架构示例。E:编码器(encoder);D:解码器(decoder);C:分类器(classifier);A:注意力(attention);Prior:先验分布(prior distribution);M:记忆(memory)。
因此需要一个开源平台将这些不同但紧密相关的文本生成应用整合起来,提供核心算法的清晰、一致的实现。这一整合平台将实现不同算法之间共有要素的重复使用;将设计、实现及实验标准化;促进可复现的研究;特别是促成不同文本生成任务之间的技术共享---基于此,为特定任务改进的算法将得以迅速评估并泛化到许多其他任务。
Texar 简介
为此,我们开发了 Texar,一个专注于文本生成任务的开源工具包,使用 TensorFlow 语言。基于模块化、多功能及可扩展的核心设计理念,Texar 提取了文本生成中不同任务和方法的共同模式,并创建了一个高度可重复利用的模块和功能库。
图 2:Texar 的主要模块和功能
多功能性
Texar 包含广泛的模块和功能,用于组成任意的模型架构并实现各种学习算法,如最大似然估计、强化学习、对抗性学习、概率建模等(图 2)。
模块化
Texar 将各种复杂的机器学习模型/算法分解成高度可重复利用的模型架构、损失函数和学习过程模块等。
用户可以像组装积木一样组装 Texar 的模块,轻松直观地构建任意自己想要的模型。模块化的设计使得各模块的插入和替换变得简单,例如,在最大似然学习和强化学习之间切换只需改变几行代码即可。
可扩展性
Texar 可以轻松地与任何用户定制的外部模块集成,并且与 TensorFlow 开源社区完全兼容,包括 TensorFlow 本身的界面、功能和其他资源都能直接与 Texar 一起使用。
可用性
使用 Texar,用户既可以通过简单的 Python/YAML 配置文件来定制已有的模型, 也可以通过 Texar Python API 编程实现任意复杂的模型,达到最大的可定制性。
Texar 提供了自动的变数重用机制(无需担心复杂的 TensorFlow 变数范围)、简单的函数式调用来执行各模块的逻辑功能,而且每个模块都有丰富的配置选项和合理的默认值。
Texar 本身的代码有良好的结构、统一的设计模式、一致的代码风格,可读性强。Texar 也提供了清晰的文档和丰富的教程示例。
Texar 目前已用于支持 Petuum 公司的若干个研究和工程项目。他们希望这一工具包也能帮助社区加速文本生成及其它技术的发展,并欢迎研究人员及从业者的加入社区,进一步丰富这一工具,共同推进文本生成研究及相关应用的进展。
打开以下链接,了解更多关于 Texar 的信息:
网站:https://texar.io
GitHub:https://github.com/asyml/texar
示例:https://github.com/asyml/texar/blob/master/examples
文档:https://texar.readthedocs.io/
博客: https://medium.com/@texar
技术报告:https://arxiv.org/pdf/1809.00794.pdf
原文链接:
https://medium.com/@Petuum/introducing-texar-a-modularized-versatile-and-extensible-toolkit-for-text-generation-and-beyond-b4e3289d5205
本文为机器之心编译,
转载请联系本公众号获得授权
。?------------------------------------------------
加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com
投稿或寻求报道:
content
@jiqizhixin.com广告 & 商务合作:bd@jiqizhixin.com
相关文章
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状
2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因
2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓
2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?
2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元
2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯
2023-02-17 18:46:15
- 华为mate20pro系列手机首发上市日期价格,屏幕和电池参数配置对比
2023-02-17 18:42:49
- 小米MAX4手机上市日期首发价格 骁龙720打造大屏标准
2023-02-17 18:37:22
- 武汉弘芯遣散!结局是总投资1280亿项目烂尾 光刻机抵押换钱
2023-02-16 15:53:18
- 谷歌GoogleDrive网云盘下载改名“GoogleOne” 容量提升价格优惠
2023-02-16 13:34:45
- 巴斯夫将裁员6000人 众化工巨头裁员潮再度引发关注
2023-02-13 16:49:06
- 人手不足 韵达快递客服回应大量包裹派送异常没有收到
2023-02-07 15:25:20
- 资本微念与李子柒销声匿迹谁赢? 微念公司退出子柒文化股东
2023-02-02 09:24:38
- 三星GalaxyS8 S9 S10系统恢复出厂设置一直卡在正在检查更新怎么办
2023-01-24 10:10:02
- 华为Mate50 RS保时捷最新款顶级手机2022多少钱?1.2万元售价外观图片吊打iPhone14
2023-01-06 20:27:09
- 芯片常见的CPU芯片封装方式 QFP和QFN封装的区别?
2022-12-02 17:25:17
- 华为暂缓招聘停止社招了吗?官方回应来了
2022-11-19 11:53:50
- 热血江湖手游:长枪铁甲 刚猛热血 正派枪客全攻略技能介绍大全
2022-11-16 16:59:09
- 东京把玩了尼康微单相机Z7 尼康Z7现在卖多少钱?
2022-10-22 15:21:55
- 苹果iPhone手机灵动岛大热:安卓灵动岛App应用下载安装量超100万次
2022-10-03 22:13:45