达摩院推出新型预训练对话模型 首次利用半监督学习注入知识
消息来源:baojiabao.com 作者: 发布时间:2024-05-13
如何将人类知识注入预训练模型,让知识和数据有机融合,一直是 AI 研究中的难题。记者 12 日获悉,阿里达摩院研究人员首次利用半监督学习将标注的人类知识注入预训练对话模型,在 MultiWOZ2.1 等三个国际主流对话数据集中均实现了最佳效果,提升幅度明显,为知识和数据融合探索出新路径。
一个模型只能解决一项任务,通用性差是 AI 的一大问题。预训练模型可能是破解之道,它能举一反三,解决多种任务,因此近些年备受关注,已迅速发展出万亿参数的大模型。不少研究者认为,数据量只是一方面,如果能将人类知识有机注入预训练模型,AI 有望像人类一样思考。
融合知识后,AI 会进行思考
不过,知识注入并不容易,由于从数量级来说,知识远小于无标注数据,简单混合容易导致知识被淹没,或者出现严重的过拟合。达摩院研究人员此次利用半监督学习来对预训练对话模型注入知识,在人机对话领域尚属首次。
达摩院研究人员使用的半监督预训练方法(图片改自 Xu Han 等的综述 Pre-Trained Models: Past, Present and Future)
目前,预训练模型的主流训练方法还是以有监督学习和自监督学习为主,半监督学习更多是配合有监督学习,用于减少数据标注、降低成本等场景。而达摩院研究人员反其道行之,将半监督学习和自监督学习进行融合,在预训练对话模型中实现了这一创新工作,相关论文已被 AAAI2022 接收。
半监督使用示意图
据介绍,预训练对话模型有别于常见的预训练语言模型,需更多考虑对话轮次、上下文情境、对话人员的角色等,以便理解对方意图并做出恰当回复。也就是说,这类模型必须考虑对话过程中的策略,他们属于特定场景下的人类知识。业界通常用对话动作标签 (dialog act) 来刻画对话策略,比如模糊澄清、信息问询和信息告知等。
为此,达摩院研究人员构建了目前最大的对话动作标签知识库,总量达 97 万轮次,将其注入新设计的预训练对话模型 SPACE 1.0 中,随后在下游任务进行验证。新模型在斯坦福 In-Car,剑桥 MultiWOZ2.0 和亚马逊 MultiWOZ2.1 这三个国际主流对话数据集上均实现了 SOTA(最佳效果),部分提升超过 5%,幅度较大。在具体案例中,新模型能够更准确预测出对话动作,能够更好和人类进行对话,避免答非所问。
达摩院新模型在三大国际数据集上的表现
达摩院资深算法专家李永彬表示,这项工作还只是起步,如何将更多的人类标注知识通过半监督的方式注入到预训练模型中、如何让模型自动选择合适的知识、如何更好评价知识注入的效果,还需要体系化的探索和创新。目前,SPACE 1.0 模型已应用于阿里云智能客服等产品,对外输出服务客户。另据艾瑞咨询最近发布的《2022 年中国对话式 AI 行业发展白皮书》,阿里云智能客服已领跑中国对话式 AI 行业。
2022-05-08 08:25:04相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24