机器人安全评测公司Safeworld获1200万美元

让生成式AI接管机器人控制，是当下机器人行业最大的趋势，但也带来一个新问题：概率性的大模型不像传统算法那样行为可预测，谁来为一只刚出厂的人形机器人「担保安全」？卡内基梅隆大学Safe AI实验室主任Ding Zhao联合连续创业者Kyle Wong与机器学习工程师Simo Rachidi创办了Safeworld，试图回答这个问题。

Safeworld于10月5日携超过1200万美元种子轮融资亮相，由Shine Capital与a16z Speedrun领投，Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors与SV Angel跟投。 Zhao长期研究AI安全，如今把实验室的工作直接做成了一门生意。

Zhao把挑战拆成两层：一是对生成式AI这样的概率系统做风险评估，「如何为一套概率系统承保」；二是信任问题，机器人在物理世界里一旦失控，代价远高于软件出错。他认为两者缺一，机器人都无法真正大规模部署。

Safeworld的做法，是在填满拟真人形模型的仿真环境里评测机器人的控制系统：这类似于特斯拉、Wayve为自动驾驶应对道路上突发状况所做的测试，但机器人面临的难题更棘手——它们在非结构化环境中工作，而且每个场所的安全标准都不相同。

Wong举了一个典型场景：工厂里有一个视觉死角，机器人需要多快的速度、多长的制动距离，才能保证不会撞上某个人？如果那个人正抱着箱子，机器人还能不能识别出来？这类问题目前没有行业标准答案，恰恰是Safeworld想填补的空白。

a16z Speedrun合伙人Jonathan Lai认为，现在是趁机器人还在设计与部署阶段建立行业安全标准的时机：「等到家里的机器人撞上孩子、开始造成安全事故，就太晚了。」

编译自 TechCrunch，原标题："Can Safeworld convince people that GenAI robots won't hurt them?"