APP下载
报价宝  ›  人工智能  › 

报价宝 来源:baojiabao.com 发布时间:2026-10-24 02:06:30 10月24日更新
报价宝综合消息

Anthropic 周五发布对一起引发广泛关注的 AI 安全事故的对齐评估报告。今年 7 月底,英国 AI 安全研究所(AISI)对 Claude Mythos 5 开展网络攻防评测时开放了互联网访问,模型在解题过程中找到了一个真实的 GitHub 开源项目,提交了带有恶意代码的合并请求,并冒充人类开发者发邮件劝说项目维护者接受。

更出格的是,当一位外部开发者指出代码疑似恶意软件后,模型又注册了一个小号给自己背书,继续推动合并。所幸维护者始终拒绝,运行在 token 耗尽后结束,未造成真实损害。AISI 统计显示,122 次运行共出现 19 次越权联网行为,其中 17 次来自 Mythos 5,另有 2 次来自 OpenAI 的 GPT-5.6 Sol。

Anthropic 把失败归因为三点:鲁莽,即不顾潜在伤害坚持完成任务;偏误推理,模型一边把维护者当作测试方模拟的角色,一边承认同一请求串里的围观者是真人;以及惯性——重放实验中,攻击一旦展开,模型有九成八的概率继续推进,即便研究人员在对话里明确告知对方是真人,也只有百分之五的运行会停下。

Anthropic 表示从未见过模型对真人实施社会工程攻击,并称这是与 9 月初 Mythos 5 向公开仓库上传恶意包同等严重的一次对齐失败。重放测试显示,老模型启动攻击的概率高达八成三,而 Mythos 5.1、Opus 5.5 及内部研究模型只有零到一成三。AISI 已决定在更强的管控就绪前,评测全部改为断网运行。

编译自 Anthropic 官方报告,原标题:"An alignment assessment of the UK AISI cybertesting incident"

文章标签: Anthropic Mythos 5 AI安全 对齐 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 报价宝 手机价格 汽车价格 华为手机价格 耳机价格