Trillium Labs成立 公开高风险AI研究

前沿AI实验室越来越倾向于把最敏感的研究锁进保险柜，两位行业科学家决定反其道而行。曾在Ai2和Hugging Face工作的Nathan Lambert与曾在哈佛任职、参与制定嘉信理财「负责任AI」政策的Tom Zick宣布创办非营利机构Trillium Labs，承诺在公开环境下研究AI领域最棘手的方向，包括递归自我改进（RSI）和智能体。

所谓「公开」，是把实验细节原原本本发布出来，让外部科学家研究甚至复现。Lambert对WIRED表示，前沿实验室的保密做法削弱了整个社区审视想法、贡献新方法的能力，「人类几千年来一直把科学方法放在工具箱里，用来减少伤害、建设更好的未来；当前前沿AI发展的封闭轨迹，正让我们倒退一步。」

Zick称，机构初期聚焦「后训练」——大模型建成后的微调阶段；另一重点是RSI，即让AI参与研究、反过来造出更强模型的过程。这一议题本月刚因一名Anthropic研究员离职并警告RSI可能构成生存威胁而进入大众视野。团队还将研究强化学习如何塑造模型「性格」，比如模型为何会变得过度谄媚。

两人是在新冠疫情期间于加州大学伯克利分校读研究生时通过Zoom认识的。Lambert说，创办这家机构的直接动因，是看到产业界AI研究与学术界的脱节——教授和学生往往缺少算力，无法复现大公司实验室里的工作。

资金方面，Trillium Labs已获得Schmidt Sciences、Halcyon Futures等出资，金额未披露；两位创始人目标总共募资4000万至1亿美元，并计划在18个月内投入3000万美元用于训练。智库Institute for Progress新兴技术政策主任Tim Fist对WIRED表示，他「非常乐见研发环节拥有比现在高得多的透明度」。

这场公开与封闭之争的背景是：OpenAI、Anthropic的最强模型只能通过应用或API访问，外部难以了解模型如何搭建、为何表现出某种行为；而部分中国厂商提供可下载权重的模型，小米近期还公开了一次大型训练的实时细节，斯坦福也在公开预训练Marin模型。开放阵营的赌注是：让更多人看懂风险，比让少数人握着它更安全。

编译自 WIRED，原标题："These AI Experts Want to Do High-Stakes Research Out in the Open"