DeepL新语音模型 翻译能带情绪了

机器翻译早就解决了「字面意思」，但一直搞不定「怎么说」。DeepL 11月11日在科隆发布语音模型Aure，核心卖点就是这个：实时翻译出来的声音，会跟着说话人语气、情绪、重音和语速的变化一起变，讽刺、犹豫、突然兴奋这些「话里有话」的部分不再被压成一条平直的合成音。

此前DeepL Voice的做法是取对话开头几秒的声音样本，生成一个固定的音色。这抓得住「谁在说」，抓不住「怎么说」——一个静止的快照没法跟着情绪走，也没法传达和字面意思相反的语调，比如讽刺。Aure换了思路：它同时分析译文文本和原始音频，随着对话推进持续调整输出，把「说了什么」和「怎么说的」一起带过去。

工程上有几道硬坎。真实对话很吵，模型要先把说话人的音色和韵律（prosody）从背景噪声、回声和失真里摘出来；跨语言搬运声音比同语言内难得多，稍不注意就会把口音放大或把人声弄变形。更麻烦的是训练数据天然稀缺：DeepL表示不会长期保存会议转写和翻译内容，会话结束即从内存删除，因此缺少同一个人跨语言说话的真实语料——模型必须在对方一句话说完之前就完成适配，还得区分「今天有点累」和「一贯如此」的差别。

解法是把音色、韵律和内容拆开训练，让三者各自独立迁移到目标语言，再用强化学习收敛输出，压掉口音、保住翻译准确度和语音质量。上线方式是无感的：DeepL Voice的在线会议版、面对面交谈版和语音API会自动切换到Aure，用户不用改设置。首发支持八种语言——英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语，其余语言继续走旧模型。

这代模型建立在此前的声音保留技术之上。9月DeepL先解决了「用自己的声音说外语」，Aure则进一步解决「用自己的情绪说外语」。CEO雅雷克·库蒂洛夫斯基的说法是：语言会变，但说话的人不该变。对跨国团队来说，这意味着谈判里的紧迫、宣布坏消息前的停顿、分享好消息时的兴奋，都能被对面听出来，而不只是被读懂。

同一赛道上的对手也在往这个方向走。Block近期发布的语音模型专门从音频里判断情绪和讽刺，说明「情绪保真」正在成为实时语音翻译的新战场——从「听得懂」往「听得出」走。

编译自 The Decoder，原标题：“DeepL wants real-time translation to finally capture sarcasm and mood shifts”