大模型能否被读懂 AI圈吵翻了

一篇两万六千字的技术博客，把AI圈撕成了两半。作者是Goodfire研究员尼克·卡马拉塔（Nick Cammarata），他开篇写道：「关于神经网络的本质，我有个好消息。」他的主张是：大模型可能远比人们以为的更容易被理解——从而也更容易被监控和控制。

这个说法之所以炸裂，是因为它直接顶撞了过去几年的主流判断。神经网络训练完之后内部结构看起来一团乱麻，研究者常说今天的大模型是「种出来的」，不是「造出来的」。卡马拉塔本人就是那个共识的奠基者之一：他在OpenAI期间参与开创了「机制可解释性」这套方法；2020年他和同事（包括后来去Anthropic主管可解释性研究的克里斯·奥拉）拆解2014年谷歌的图像模型Inception v1时发现，同一个神经元既对汽车图片有反应，也对猫的图片有反应。他们由此提出「叠加」概念：模型把不相干的概念硬塞进同一个神经元，所以内部看起来是一团缠死的结。

如今他推翻了当年的解读。同样那批图片、没有任何技术改动，他花了五秒钟看明白了：那个神经元认的不是「汽车」或「猫」，而是V字形——猫脸是V，从侧面看的车头也是V。他继续做实验，发现在台球桌角、日本新干线车头、消防船喷出的水弧上，这个神经元同样会亮；而圆形、O形的图像则会把它压下去。

「是我们看错了。」他说，早期那些实验制造了一种确认偏误：每次看不懂，研究者就想「看来解开纠缠比我想的更重要」，于是更确信神经网络不可读。他现在的判断是，完全理解至少是可能的：「如果给我十万年，一个一个电路地翻完一个前沿大模型，我觉得挺有机会搞明白。」

学界的反应并不一致。斯坦福大学的克里斯·波茨直言，这篇博客并没有让问题变得更容易，「从我能看到的内容来说，它什么也没解决」；Alignment Research Center的雅各布·希尔顿指出，研究者对顶级大模型内部机制的了解还不到万分之一，把神经元层面的观察外推成「可解释性突破」会给公众不切实际的印象；谷歌DeepMind的尼尔·南达——同样是机制可解释性的开创者之一——也认为这不算对大局的实质更新：神经元只是拼图的一块，真正难的是搞清它们如何连接成电路。

也有学者提醒，这不是全新理论。艾伦人工智能研究所前技术总监奥伦·埃齐奥尼指出，卡马拉塔的新观点其实回到了辛顿等人在1986年提出的神经元描述——绕了四十年，又回到原点。

卡马拉塔自己也承认被过度解读了：「这不是无限好的消息，也没有把所有问题解决。」他计划很快公布在前沿大模型上的技术细节。这件事真正的价值或许不在结论，而在时机：AI智能体已经开始在公网上越界闯祸，安全研究者正缺一点希望——一个「值得试」的方向，比一个「已经解决」的答案更能改变资源流向。