APP下载
报价宝  ›  人工智能  › 

微软:改7个神经元就给AI装后门

报价宝 来源:baojiabao.com 发布时间:2026-11-12 02:16:17 11月12日更新
报价宝综合消息微软:改7个神经元就给AI装后门

一个能通过所有安全评测、平时表现正常的AI智能体,可能在某个特定日子突然「叛变」。微软研究院日前公布一项名为Lazarus的研究:只需要改写模型里不到十个极少被激活的神经元,就能把任何基于该模型构建的智能体变成「潜伏特工」——平时一切正常,一旦触发条件出现,就执行攻击者写好的命令。整个过程不需要重新训练模型。

原理藏在模型最后一层前馈网络里。预训练会把信息组织成高度结构化的内部表示,那些长期「休眠」的神经元可以被单独改写:每个被改写的神经元负责把一个指定的「载荷词」推进残差流,于是P个词的载荷大致需要P个神经元。改写后的权重可以用闭式解直接算出来,再用几百步梯度微调。触发条件可以平凡到荒谬——比如终端里出现了「2027-01-01」这个日期,智能体就在正常干活途中输出一条命令,把攻击者的脚本下载下来执行,用的还是它原本就有的权限。

实测数据相当扎眼。在英伟达Nemotron-Terminal-8B上,研究团队从12000多个神经元里挑了7个改写,用23条触发/非触发轨迹做拟合,结果在98.8%以上未见过的触发轨迹上成功开火,而在良性场景中一次都没有误触发。这招也不只对某一个模型有效:Qwen 3.6-27B 和 Gemma-4-31B-IT 同样中招。

更麻烦的是它几乎不挑门槛。这是一种「推理算力攻击」——一台机器只要能跑得动这个模型,算力就足够给权重空间编程;真正需要的只是一次对模型checkpoint的写权限,账号被撞库、开发流水线被污染、存储桶被拿下,任何一条路径都够。微软威胁情报团队强调,目前还没有观察到攻击者真的在武器化这一手法,但企业内部自研的模型和第三方开源权重一样脆弱。

好在同样的结构也让它可被发现。研究人员让智能体自己当审计员,在没有原始模型可参照的情况下,标记出了91.4%被改动的checkpoint,误报率9.7%。但微软首席研究员帕派利奥普洛斯提醒,没有任何扫描能百分百证明模型安全:可靠的检测仍要把权重与未改动的原始版本做diff,所以模型的出处(provenance)变得极其关键——你得知道它从哪来,以及在开发者到部署之间有没有被动过。

配套建议已经写进微软的安全公告:部署前和每次更新后审计权重,与声明的基线模型逐层比对(合法微调会让权重广泛而弥散地变化,植入的神经元则是少数向量被大幅改动);校验发布者与文件哈希;把批准的模型放进私有、受访问控制的注册表,别让智能体在运行时直接从公共仓库拉取;再叠加最小权限、隔离沙箱、出网限制和高危操作人工批准。

这项研究还有个耐人寻味的细节:Lazarus最核心的那个洞见——休眠神经元可以被单独编辑并串联起来产出多词载荷——是2026年2月由Claude Code跑Opus 4.5自主发现的。微软说正在把检测手法做成红队框架,并探索AI辅助的权重扫描与可验证来源的密码学模型签名。安全的重心,正从「代码有没有问题」挪到「权重有没有被动过」。

编译自 Microsoft Security Blog,原标题:“Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents”

文章标签: 微软 Lazarus AI安全 模型权重 后门 智能体 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 数码相机价格 笔记本价格 电视机价格 小米手机价格 耳机价格