Block推出Dessa 只靠人类对话学说话
支付公司Block——Jack Dorsey在推特之后的另一番事业——发布了一个走偏门的语音模型:Dessa。它不从文本学起,官方的说法是「从零开始、只用人与人的对话训练」,连一本书、一个网页都没读过。团队拿出的演示是一段段真实对话录音,整体自然流畅,偶尔又尴尬得有点毛骨悚然——比如开口就把说话人认成了「罗纳尔多」。

Dessa是真正的语音到语音模型:声音进、声音出,中间不经过任何文字转换。团队的逻辑是,婴儿不听写也能学会说话,机器未必非得先读完图书馆。按照Block官网的说法,Dessa学会语言所用的文字量比大语言模型少了几百倍,而整套训练只用了一台英伟达GB200 NVL72服务器。模型以全双工方式运行——像打电话而不是对讲机,说话时能同时听,可以接住插话、笑声和没说完的半句话。
不经过文字这条路线还带来一个副产品:情绪。Block称Dessa能原生听懂并表达讽刺、笑声、叹气和哽咽,而传统语音助手先把语音压成文本,这些信息基本全丢掉,「想象一个人疼得说不出话,语音AI却毫无察觉地继续往下说」。模型推理快于实时,且能在M4 Max芯片或更高的MacBook Pro上完全本地运行。
演示内容介于惊艳和诡异之间:有一段围绕诺兰电影的闲聊,Dessa突然跑题去聊赛人大师的《超人》系列;有人告诉它要带它去巴黎,它的回答听起来像是含泪道谢;还有一段它和OpenAI语音模型GPT-Live-1的对话——听起来更像人的那个是Dessa。
背后的团队是Block内部一个很小的AI研究实验室,由多伦多深度学习创企Dessa的前成员创立——那家公司2020年被Block收购,如今品牌借产品还了魂。团队从2012年起做深度学习、做生成式语音模型超过八年,直接向Dorsey汇报。Dorsey本人在X上表示为团队骄傲。
为什么做这个?团队给了三个理由:好奇心(说白了就是好玩)、人与AI之间的理解,以及安全。一个从声音里学会说话、听起来像真人的模型是全新的领域,Block选择先让外面的人来找风险——模型暂不公开,将向一小群AI安全研究员提供早期访问,请他们找出团队没想到的问题。
编译自 The Verge,原标题:"Jack Dorsey's Block made an AI model that talks to you like an awkward new friend"