96台机器人互学经验 手机包装成功率近九成八

机器人要靠真实世界的经验才能变强，而今天积累经验的方式大多仍靠人：一位操作员反复示范动作，或者在机器人出错时上手纠正。机器人可以成百上千台地部署，熟练的操作员却没法按同样速度复制。清华大学、无问芯穹与智元的研究团队想绕开这个瓶颈，提出了「集体经验学习」（CEL）：让机器人主要从同伴的成功经验里学。相关论文已在 arXiv 挂出，编号 2610.25736。

具体做法是把成功经验存起来共享。一台机器人在某个任务上卡住时，可以去检索同伴在类似情境下是怎么做成的，而不是等着人来教。团队用 96 台真机组成的集群验证了这套思路。

测试覆盖五个横跨家庭与工厂的任务：插花、叠衣服、给手机充电、组装凳子、包装手机。两台完全没有参与训练的机器人跑了 600 次试验，失败 15 次，整体成功率 97.5％。五个任务的成功率都高于六名人类操作员的平均水平。在多步骤工业任务手机包装上，集体学习后成功率从 79.2％ 升到 98.3％，连续 120 次运行只失败两次。

规模效应也测了出来：在同样的真实训练时长下，把参与训练的机器人从 16 台增加到 96 台，成功率由 86.7％ 抬到 98.3％。

支撑这套系统的是两个组件。其一是名为 FATS 的容错异步训练系统，构建在开源大规模强化学习框架 RLinf 之上：机器人做完一个任务就立刻上传经验，不必等别的机器人，设备掉线时集群仍能继续跑。在 96 台的测试中，集群共采集 9834 条轨迹，22 台机器人累计出现 30 次故障，但损失的机器人时间只占总运行时长的 1.3％。

其二是名为 FERT 的失败引导经验检索微调算法。一次操作可能持续数分钟、包含上千个动作步，而反馈往往只有一个最终的成败。FERT 把两者都用上：机器人遇到麻烦时，检索相似情境下的成功经验，把学习集中到这些样本上。

需要说明的是，这批数据由研究团队自行发布，尚未经过第三方独立复现。

编译自 Pandaily，原标题："Tsinghua, Infinigence AI and AgiBot Train 96 Real Robots to Learn From Each Other's Experience"