更轻,但更好!科大讯飞首发工业级中文预训练模型
消息来源:baojiabao.com 作者: 发布时间:2024-05-16
近年来,以超大规模模型、海量训练数据、自监督学习准则为特点的无监督预训练模型备受关注。具有高通用性的无监督预训练大模型,结合知识和海量数据进行融合学习,通过提取原始数据的深层表征,实现对于下游任务的通用支撑。
不用重复"造轮子",预训练大模型强大的泛化能力和优秀的模型效果,让 AI 模型从开发、部署再到应用有"规"可循,成为实现通用 AI 技术落地的有效途径之一,也让人看到了 AI 工业化、规模化落地的曙光。
对 AI 大规模落地部署应用的期待中,有不少来自各行各业的中小企业,它们也是推进 AI 走向实用的中坚力量。对于它们而言,无监督预训练大模型的训练和部署代价过于高昂,例如 NLP 领域预训练模型 ChatGPT 参数量高达 1750 亿,使得这项热门技术的产业推广应用困难重重。
目前,预训练模型从比拼参数和数据量级的"秀肌肉"阶段已逐渐进入冷静期,与行业结合的轻量化模型应运而生。在 2022 年全球 1024 开发者节上,科大讯飞正式发布了工业级预训练模型,其中包含语音及多模态两个轻量级预训练模型,覆盖不同领域场景、支持多个任务,在参数量上远远小于业界公开模型,但在效果上却在业界表现优异,为预训练模型工业化场景应用交出了一份全新的答卷。
2022 全球 1024 开发者节发布会现场
轻、快、强:直击预训练模型行业应用痛点
以智能语音技术在行业实际应用为例,存在着面临构建多语种、多方言语音系统的数据瓶颈,在高噪环境语音识别、跨信道声纹识别等跨领域场景下的性能损失明显,以及语音合成缺乏对于不同声音属性维度和用户期望音色的灵活定制能力等问题;这些技术问题限制了行业应用的深层拓展,而预训练大模型作为共性关键技术的突破,恰是行业所需。
在此观察基础上,科大讯飞研究院所研发的工业级中文语音预训练模型和工业级多模态预训练模型,聚焦"轻、快、强"三个方面,直击行业应用痛点:
轻:语音预训练模型小于 100M,多模态预训练模型则小于 300M,适配云、端等不同场景和不同设备的工业化落地需求;
快:训练数据覆盖近场、远场、干净、噪声等不同场景,教育、车载、政法等不同领域,在实际应用阶段能够快速适配落地;
强:语音预训练模型支持语音识别、声纹识别、情感识别等不同任务,多模态预训练模型支持多模态语音识别、多模态情感识别、多模态声纹识别等不同任务,效果在 AISHELL2、Voxceleb、LRS3、DFEW、MISP 等权威开源数据上均达到 SOTA 效果。
融合创新:多模态等技术为讯飞工业级预训练模型"添彩"
以行业应用落地为关键导向,兼顾实用性与效果,讯飞此次发布的工业级预训练模型在技术层面融入了多模态等方向的最新成果,也是"轻、快、强"的有力保障。
以多模态预训练模型为例,为了构建一套适用于更多下游任务的多模态统一预训练框架,讯飞研究院从常规的局部唇形信息拓展到了全局面部信息,实现了对表情、话术、身份等表达的面部关联信息的充分利用,从情感、内容、身份属性等层面强化视频和语音支路的信息互补和信息增强,从而匹配更多的下游任务使用场景。
例如讯飞研究院充分利用人脸身份特征与声音身份特征之间的关系,通过一致性约束进行身份信息的强化补充,从而在复杂场景下通过多模态间的信息融合实现更加鲁棒的声纹识别。
同时,为了充分发挥讯飞在有监督层面的技术积累和数据优势,讯飞研究院利用了有监督模型构建了情感码本和内容码本,并对无监督数据提取的高层次特征表达匹配产生指导标签,加快模型的训练收敛,最终实现训练代价下降 80% 情况下效果依然稳定提升的优异成绩。
在多模态场景下游任务迁移中,因为实际使用场景数据难以获取,有标注训练数据一般只能控制在几千小时的范围内,在这种情况下,多模态预训练的优势更加显著,多模态语音识别、多模态情感识别、多模态声纹识别等任务上,讯飞预训练框架效果平均相对提升了 32%。
实力"说话":讯飞工业级预训练模型应用落地开花
目前,讯飞工业级预训练模型已在多个技术方向实现了行业落地应用,并取得了实打实的好成绩。
在全场景语音识别方面,面向重口音、高噪声、多人对话等全场景语音识别应用,基于讯飞多模态预训练框架实现了包括多模态 VAD、多模态增强和多模态识别的功能,在噪声场景较有监督方案效果提升了 30%-70%,目前已在车载领域落地,在多点噪声干扰、同向人声干扰等复杂场景依然能够提供良好的交互体验。
同时,基于讯飞语音预训练框架的多语种、方言语音识别能力,也已经落地翻译机、录音笔等,架起了语言沟通无障碍的桥梁。以阿姆哈拉、希伯来、普什图、塔吉克四个语种为例,和 XLS-R 预训练模型相比,讯飞的预训练模型在预训练数据需求更少、模型参数量更低的情况下,取得了更好的推广效果。
在细粒度语音情感识别方面,面向不同类别情感定义的情感识别,基于讯飞多模态预训练的情感识别系统,4 种情感类别加权平均召回率相对提升 15%,目前也已在客服、车载、智慧大屏等场景落地。
在高可控语音合成方面,1 分钟个性化合成任务实现合成自然度 3.9MOS 分,相似度 3.7MOS 分,自然度接近一般普通人说话的 4.0 分。实现合成语音在音色、韵律、口音 3 个属性方向上可连续调节,属性调节方向主观感知准确性达到 66%,合成自然度 3.6MOS,在讯飞智慧家庭、讯飞电视语音助手、智能车载交互等场景提供更多的用户选择。
人工智能技术的演进和为行业智能化带来的革新,离不开企业和开发者的共同参与投入。讯飞研究院渴望与更多伙伴携手,基于工业级预训练模型加速 AI 产业化应用落地的步伐,让 AI 真正能"润物细无声"地浸入各行各业,共享智能化春风下的美景。
想体验讯飞工业级预训练模型的开发者或企业,可登录讯飞开放平台:https://ailab.xfyun.cn/ pretrained-model-management
2023-01-06 14:30:33相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24