Runway开源机器人模型 用视频学动作
以视频生成闻名的Runway把自家机器人模型Praxis-1的权重和源代码全部公开,采用Apache 2.0许可,明确允许商用。权重放在Hugging Face上并原生支持LeRobot,代码在GitHub,从数据中心的H100、B200到机器人本体的Jetson Thor都能跑。
Praxis-1是一个270亿参数的混合专家扩散模型,Runway称之为「世界动作模型」:输入摄像头画面、文字指令和机器人自身状态,先预测画面接下来会怎么变,再算出对应的动作,每一帧新画面进来都实时修正控制。它的底子是Runway的视频生成模型——先从海量普通视频里学会物体怎么移动、怎么互动,再用人类动作视频和机器人数据微调,省去了专门采集昂贵机器人数据的部分负担。

成绩单(均为Runway自测,未经独立验证):在英伟达RoboLab-120模拟榜上成功率46.2%,高于FLUX 3 Action的42.9%、Cosmos3 Nano的36.8%和π0.5的28.0%,在世界动作模型类别排第一,总榜第五。真机测试里,微调后的Praxis-1在Franka机械臂十个任务共100次尝试中成功88次,对手FLUX 3 Action是80次。
迁移能力是亮点。给一个训练数据里从没出现过的谷歌RT-1移动机器人,用约95小时机器人数据微调后,Praxis-1在模拟测试中平均成功率80%,远超原版RT-1策略的52.4%。9月以来,Standard Bots、Noble Machines和Ultra已在人形机器人、六轴工业机械臂和双臂仓储机器人上试跑。
门槛和短板也得说清楚:标准版需要80GB显存的GPU,压缩版按估算能塞进32GB的RTX 5090,但实际峰值占用还没实测。它目前会认错长相相似的物体、听不懂模糊指令,复杂长任务得一步步拆开喂。Runway的定位也很明确:Praxis-1负责快速执行动作,把任务规划交给通用大模型。
编译自 The Decoder,原标题:"Runway's open-source Praxis-1 turns video AI into a robot controller"
