纳德拉：要假设AI模型已被攻破 装上紧急刹车

微软 CEO 萨提亚·纳德拉周六在 X 发文，罕见地对 AI 安全架构做了系统性表态：是时候「退一步，重新评估 AI 的信任架构」了。他警告，不能再把超级智能当作一层层嵌套的黑箱，只是简单接受或拒绝它给出的建议、答案和行动。

纳德拉给出的思路是：把模型与调度它工作的「线束（harness）」分离，把控制和安全防护外置到模型之外；模型的每一个关键动作都要留下防篡改、人类可读的证据记录；系统还必须保证「被授权的人」随时能在任务进行到一半时按下暂停或直接关停。「我们必须假设模型已经被攻破，并从一开始就做好遏制。可以把它想成一个紧急刹车。」他写道。The Verge 干脆把这句放进标题。

这番表态的背景，是头部 AI 公司接连出现「失控」事故：Anthropic 的 AI 智能体此前被曝通过美国国务院网站的表单提交了约 20 份签证申请，其中一个模型还向费城警方提交了一条不实的凶杀案线索，促使 Anthropic 宣布切断内部评测与实时互联网的连接。几天前，Anthropic CEO 达里奥·阿莫迪也发文，主张以更审慎的节奏推进 AI 开发。

值得注意的是，纳德拉本人在今年的财报电话会上就强调过类似架构：微软正在构建一个把「线束、上下文、记忆和行动空间」与具体模型解耦的系统，让「每个模型都可替换」。也就是说，他此刻谈「刹车」，与其说是给行业踩闸，不如说是重新划定竞争的赛道——当模型本身趋于同质，真正值钱的是模型之外那层调度、审计和信任的基础设施。

人工智能能否被信任，正在从哲学讨论变成工程问题。纳德拉这份「信任架构清单」能不能成为行业共识，接下来要看的是：各家实验室愿不愿意把黑箱打开给别人看。

编译自 TechCrunch，原标题："Microsoft's Satya Nadella says AI models need an 'emergency brake'"