32MB语音模型跑进浏览器 免联网
当各家 AI 公司都在比拼模型规模时，一家名为 Underdog 的创企反其道而行：它发布了一款仅 31.7MB 的文生语音模型 Woof，小到可以直接在浏览器里运行，并围绕它做了一款复古风格的解谜小游戏作为演示。
这款游戏场景是一间复古科技主题的房间，玩家可以用键盘在打字机上敲任何内容，游戏会即时用 Woof 的声音朗读出来；转动调谐器还能生成不同风格的音乐，全部语音均由模型实时合成。游戏开场白还会提醒玩家提防镇上“爱窥探”的云服务商——被认为是对云端大模型的一种揶揄。Underdog 表示，该模型可在大多数设备上离线运行，共 3100 万参数，任何人都可以下载。
这么小的模型显然无法取代云端大模型，但 Underdog 认为它足以支撑本地语音助手、个性化播客等场景。就在几周前，该公司刚发布了 167MB 的语音转文字模型 Bark，同样面向边缘设备的转录和听写场景。此外 Underdog 还放出了一个可跑在笔记本上的 270 亿参数模型，以及一款排队制的本地应用，定位为云端产品的本地化替代品。
创始人 Sigil Wen 对 TechCrunch 表示，他做这件事的初衷是不想依赖第三方笔记应用，而是用跑在用户设备上的模型搭建自己的系统，让数据归用户所有。他说：“我认为几个月内，今天大多数强模型都能在你已有的设备上运行。我们只想训练最好的美国制造开源模型，让人们拥有私密的 AI。”
端侧小模型正在成为一个不容忽视的方向：它们牺牲了一定的能力上限，换来零延迟、零云端成本和完全的数据隐私。如果 Wen 的判断成立，语音这种对实时性要求最高的模态，可能率先完成从云端向设备的迁移。
编译自 TechCrunch，原标题："Underdog shows off a 32MB speech model in new demo"
