HDC2022 的无障碍参会体验,手语服务是如何做到的?
消息来源:baojiabao.com 作者: 发布时间:2024-05-31
华为开发者大会 2022(HDC)上,HMS Core 手语数字人以全新形象亮相,并在直播中完成了长达 3 个多小时的实时手语翻译,向线上线下超过一千万的观众提供了专业、实时、准确的手语翻译服务,为听障人士提供了无障碍参会体验。面对专业性强且词汇量大的科技大会,HMS Core 手语数字人是如何准确且流畅地打出手语的?
【解决三大技术难题,科技词汇信"手"拈来】
直播中的实时手语翻译较传统翻译和文本转手语的翻译更为复杂,主要在于语音识别过程中各类场景声学环境复杂难部署;手语词汇数据量少,尤其是专业领域词汇较为匮乏;同时,手语语言具有独特的语序逻辑,并非按照日常说话顺序逐字翻译,而要对语句进行语序调整,比如"我有许多朋友,其中既有健听人,也有聋人"的手语语序是"我 / 朋友 / 多,听人 / 有,聋 1 / 有"。由于手语视觉语言的独特性,手语表达中表情、动作位置、动作方向、体态变化、动作幅度大小等都是影响手语可懂度的重要因素。
为了让手语数字人实现高可懂度的 AI 手语能力,HMS Core 手语服务技术团队整合了"语音、手语"全链路的 AI 能力,解决了三大技术点:语音识别的准确度、手语翻译的准确度、手语动作的流畅度与节奏感。
首先,为了确保直播中演讲者语音能被精准识别,尤其是大量中英文混合的技术名词,HMS Core 手语数字人语音识别功能,采用动态的流式声学建模技术,实现了 1 秒以内即可出识别结果,同时借助热词等定制手段,专业术语的识别效果也得到了定向优化,这为手语数字人下一步的手语翻译提供了高精准度的文本基础。
在手语翻译准确度方面,HMS Core 手语服务专门组织了一个动作优化团队,并在机器翻译、手语转写等算法方面进行了创新:通过机器翻译算法,中文表达可快速转写为手语表达,并自动进行词序调整、词义消歧、表情分析;通过双重迁移学习等方法,让算法理解句子的语义和语境,并准确估计出每个手语词对应的体态、表情及口型,实现手语动作、体态、表情、口型全方位地生动表达,有效提升手语转写的准确率及速度。
此外,手语生成方案融合了大量手语语言学研究成果,通过调整词、词组、句子之间的停顿及速度等,增强节奏感。同时,参考新闻手语主播的手语打法,预训练模型的语句浓缩算法,可将复杂的长句浓缩为简单的短句,并基于语义进行翻译,最终生成流畅且符合听障人士表达习惯的手语动作。
对于在 HDC 大会上常用的科技词汇"华为","鸿蒙"及"人工智能"等,其标准打法已纳入 HMS Core 手语词汇库。而对于大会上"原子化服务"等较少见的组合型专业词汇,则按字面意思将其拆解成"原子""化""服务"三个手语动作,同时生成对应的口型。
【产品竞争力跃升,从技术创新到产业应用】
HMS Core 手语服务经过一年多的发展和技术迭代,目前已支持 2 万 + 中文手语词汇,匹配日常沟通交流、新闻、教育、政务办理等丰富场景。当前手语数字人不仅能流畅地打出手部动作,还有丰富的表情和准确的口动,从微笑、开心到惊讶、疑惑、失望等,多达 26 种表情,灵动又逼真,做到了"听得准"、"翻得对"、"打得好",更好地为保障听障者的社会参与提供了助力。
目前,HMS Core 手语服务已携手音书、知音、畅听无碍、开普云、棉花糖科技、未来媒体、硅基智能等众多开发者,成功将 AI 手语翻译能力应用在各行各业,完善了无障碍环境建设。畅听无碍 app,通过集成 HMS Core 手语服务,在应用内实现了 AI 手语翻译功能,让听障人士随需随用,满足他们在日常生活中沟通交流、学习娱乐的需求,同时还能帮助他们在政府、医疗、金融、法律等专业公共服务领域实现无障碍交流。
HMS Core 手语服务的应用将不断助力开发者搭建更好的无障碍传播环境,帮助听障者更好地享受信息化发展成果,为他们带来更多陪伴、更多实时交互以及更深的情感联结。未来,HMS Core 手语服务,将持续践行"科技,不让任何一个人掉队",与广大开发者伙伴一起,助力构建数字生态,让无障碍体验惠及更多人。如需进一步了解,请访问 HMS Core 手语服务。
2022-12-21 19:04:57相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24