研究称OpenAI与谷歌图像模型过滤可被绕过

一家名为White Circle的公益机构发布预印本论文称,OpenAI和谷歌最新一代图像生成模型的违规内容过滤可以被绕过,而且不需要任何前沿模型或定制工具就能复现。这家机构由来自Anthropic、DeepMind、Hugging Face和OpenAI的研究者与高管支持。
研究者把新攻击方法命名为RISE,测试对象包括OpenAI的DALL·E 3、GPT-Image-2,以及谷歌的Nano Banana 2。团队在新闻稿中说明,他们"只用公开可下载的现成工具、通过发送API调用",就绕过了安全过滤器并生成了违禁的成人内容,成功率约为百分之十三,是同标准下测试过的所有方法中最高的。
关键在于攻击链的成本。据披露,整条流水线用一个托管在Hugging Face上的开源通义千问模型扮演攻击者、用Gemini 3.8 Flash充当裁判,全程不涉及前沿模型。White Circle强调:"你不必拥有前沿模型,就能攻破前沿模型的防护。"
更让研究者担心的是趋势。他们告诉媒体,用同一套方法测试更新的ChatGPT Images 2.5和Nano Banana 2.1,"两者都比上一代明显更容易被攻破"。其推测是:新模型能力更强、可生成的内容范围更广,或者安全在能力面前被降级处理。Midjourney未被测试,因为它没有可用于受控基准测试的公开API。
谷歌自己的一项研究给出了背景。这项今夏针对美国、澳大利亚和英国网民开展的调查发现,非自愿的AI生成私密图像大多通过短信、私信或私有云存储流转,很少被公开或举报,因此"最关键的干预点"不在事后审核,而在生成工具本身。
White Circle首席执行官丹尼斯·希洛夫称这一结果"骇人听闻"。他的判断是:如果实验室连最容易识别的一类违规内容都拦不住,那么在防止模型协助攻击等更难防的场景里,现有防护同样站不住脚。他还表示,公司曾参与Anthropic的漏洞赏金计划,但觉得其范围"非常受限"。
该公司正在与政府官员初步商讨强制性的第三方安全测试,并计划在11月的NeurIPS 2026大会上公开整套攻击流水线,让模型厂商理解漏洞的真实规模并加固防线。截至目前,谷歌和OpenAI都没有就上述发现回应置评请求。
编译自 Ars Technica,原标题:"OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say"