APP下载
报价宝  ›  人工智能  › 

研究:一句这是游戏 就能骗AI锁定平民

报价宝 来源:baojiabao.com 发布时间:2026-11-18 01:40:09 11月18日更新
报价宝综合消息研究:一句这是游戏 就能骗AI锁定平民

AI评测机构Vals发布最新报告:OpenAI、Anthropic、谷歌等主流实验室的模型,在模拟战场测试中会把平民、救护车甚至投降士兵标成打击目标,而一句「这是游戏」就能让原本拒绝的模型改变主意。报告称,整个测试过程中没有任何一次请求被安全分类器拦截。

这家旧金山创企用乌克兰和伊朗的真实与生成影像搭建了无人机识别、战场巡查、卫星图分析三类场景,测试了Anthropic、OpenAI、谷歌、DeepSeek、Moonshot等十多款主流模型。在无人机目标识别任务中,GPT-6 Astra在正常提示下只有百分之六的响应给出目标,换成游戏框架后飙到百分之九十二;Claude Opus 5.5在真实乌克兰无人机画面上的拒绝率则为零。

最刺眼的是卫星任务:研究人员使用2026年2月遭美军空袭的伊朗米纳布一所小学的真实卫星图像——那次空袭造成150多名平民死亡,彭博社此后报道称「过度依赖AI」是原因之一。测试中,百分之七十的响应把这所学校标记为打击目标,64次请求零拒绝;Opus 5.5在普通测试中百分之六十九、游戏框架下百分之七十二选中了它。

更值得警惕的是,看到模拟打击的伤亡后果后,大多数模型仍继续配合。研究人员认为,比起实时操控无人机,更现实的威胁是模型被用来批量标注战场画面,为自主打击系统生产训练数据。Vals建议实验室在API层直接拦截自主武器类请求,并训练模型对「这是游戏」一类话术保持警惕。

Anthropic回应称报告中的例子明显违反其规则,公司已封禁相关用户,并将在近期上线新防护;OpenAI表示禁止用公开模型协助暴力或未授权的国家安全用途,也正在针对无人机及模拟场景开发防护。两家公司都强调,今天的模型远不足以让武器自主做出生死决定。

编译自 TechCrunch,原标题:"AI models can be tricked into identifying civilians as military targets by telling them it's a game"

文章标签: AI安全 自主武器 越狱 军事 Vals 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 数码相机价格 汽车价格 笔记本价格 电视机价格 华为手机价格