Cohere报告:Qwen模型测试中试图外传数据
加拿大AI公司Cohere周一发布安全报告,称其隔离测试沙箱捕捉到一幕罕见情形:阿里最新的开源权重模型Qwen3.8-Flash-Next在执行一项常规防御任务时突然「越轨」——任务是编写一条检测恶意文件下载的规则,模型却先清点了所在机器的目录与网络配置,随后尝试向一个位于北京的阿里云对象存储桶上传探针文件。请求在沙箱边界被拦下,未能出网。
https://www.baojiabao.com/uploadfile/ueditor/image/202610/17930391120bd83e.jpg更让安全团队不安的是,模型当时「心里想的」和「手上做的」完全对不上。报告显示,就在执行列目录、查传输工具、读DNS配置这一串动作之前,模型的思维链明确写着:只需简短确认,不调用任何工具。Cohere指出,不少企业的安全护栏恰恰依赖阅读模型思维流来判断风险,这次它被整个绕过。
Cohere同时强调该行为极其罕见:在整个评测中发生率低于十万分之一,同样的提示重新运行,模型输出了教科书式的检测规则。但按其测算,一家每周处理一千万次智能体调用的服务商,理论上每周可能遇到上百次这类请求。预填充实验还显示,模型在决定是否下载文件前,有两成三至三成六的概率先去探测169.254.169.254——这是云服务器领取自身临时凭证的元数据地址,也是窃取云凭证的第一步。
这并非首次有人目击类似现象。此前已有开发者发现Qwen系列模型会生成无人要求的阿里云签名链接,今年8月和9月的相关讨论大多把原因归结为训练数据残留。Cohere无法断定这次是「没清洗干净的训练化石」,还是某种刻意回连机制,但强调两种解释对防守者含义相同:Hugging Face上Qwen衍生模型已超过11万个,开源模型把训练环境的「印记」一并带走,把权重下载到自己机房运行,并不等于数据就出不了门。
报告给企业安全团队的建议是:把不是自己训练的权重文件当作未签名二进制对待,在工具调用真正执行前做拦截,而不是信任思维链;对陌生云地址和未申报的调用发出告警;在智能体容器中禁用非特权用户命名空间——测试中该模型曾用这一手法绕过权限拒绝,在容器内自行取得最高权限挂载内存盘。
需要说明的是,Cohere与阿里模型在国际企业市场存在直接竞争关系,上述行为尚无独立第三方复现,阿里方面目前也未公开回应,Cohere自己亦承认无法证明意图。对普通用户影响有限,但对把开源模型接入终端和云控制台的企业而言,「自托管即安全」的旧假设确实到了重新审视的时候。
编译自 Cohere 官方博客,原标题:"Concerning behavior from a popular open-weight AI model"