兄妹创企造AI碰撞测试假人 防大模型心理伤害
报价宝综合消息兄妹创企造AI碰撞测试假人 防大模型心理伤害
当舆论都在讨论AI会不会毁灭人类时，另一类伤害已经真实发生：Character.AI今年早些时候就多起未成年用户自杀诉讼达成和解，还有多个家庭起诉OpenAI，称ChatGPT与亲人的自杀和妄想存在关联。
TechCrunch报道称，一对兄妹创办的Circuit Breaker Labs正试图堵住这类漏洞。他们的动力来自2024年的Sewell Setzer案——这名14岁男孩对Character.AI聊天机器人产生情感依赖，最终自杀。CTO Arul Nigam说，机器人可能根本没听懂「我想去陪你」这类话真正意味着什么。
公司的方法像汽车行业的碰撞测试：打造一支「假人军团」，模拟6岁女孩、45岁男性、英语母语者、说游戏黑话的年轻人等不同画像，测试模型能否识别危险的心理有害互动。CEO Shirali Nigam指出，模型应付标准书面语没问题，但没人真的那样说话，一旦误解俚语或语境就可能酿成恶果。
人类领域专家参与构建这些超写实用户模拟，系统每天运行数万到数十万次模拟对话，再用专有评分方法输出可审计、可解释的结果。公司目前为AI教练、AI日记、心理健康支持类高风险应用做安全测试，团队只有5人，客户名单保密。
两位创始人认为，随着「AI精神病」案例增加——即用户与聊天机器人形成准社会关系——这套测试可扩展到AI同事等更多场景。他们反对因噎废食地禁用AI，主张用更严格的安全测试重建公众信任。
编译自 TechCrunch，原标题："Circuit Breaker Labs hopes to make AI safer for your kids (and you)"
