苹果HALO让机器人零样本进陌生房间

苹果在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》，公开了人形机器人自主控制系统 HALO，全称是“在仿真中学习、在机上运行的人形自主系统”。论文于当地时间11月4日提交，数据生成、模型训练与部署代码均已随苹果机器学习研究页公开。

这项研究针对的是人形机器人长期的数据瓶颈。用遥操作或动作捕捉采集数据，一小时的人力最多换来一小时的数据，想让机器人学会上百种家务，人力成本会按小时线性上涨。HALO 的做法是把这部分数据搬进仿真：运动扩散模型 Kimodo 依据文字描述、路点和少量关键帧生成全身动作，再放进 Infinigen 程序化生成的一千个房间（45％是客厅、30％办公室、25％卧室），最后在 Isaac Sim 里按机器人鱼眼镜头的视角做光线追踪渲染，并随机改变模糊、噪声、曝光和色调。

最终得到 16.2 万个片段、约 296 小时、每秒30帧的配对数据，覆盖坐椅子、走向指定物体、侧身穿过半开的门、钻到桌下爬行、推箱子等六项技能，还包含把多项技能串起来的长程任务。

机上是三层结构：最上面的编排器默认使用4位量化的 Qwen3.6-35B-A3B，约每2秒把一句自然语言拆成子任务；中间的运动生成器以3赫兹运行，主体是冻结的 Qwen3.5-2B 视觉编码器加4900万参数的扩散变换器，输出5秒的关节角与骨盆轨迹；最下面的跟踪器以50赫兹运行，用强化学习训练，靠深度图和本体感觉驱动29个关节。

硬件是一台原厂宇树 G1，只加了两样东西：头部定制的广角相机，以及背在身上的3D打印外壳里的一台 Mac mini（M4 Pro、64GB 统一内存）。Mac mini 负责运行前两层，跟踪器则跑在机器人自带的 Jetson Orin NX 上，整机不拖线。

结果是在6个事先没有扫描、没有建图的真实环境里做了360次单项任务测试，平均成功率91％；三种组合任务各测10次，平均成功率70％，其中“俯身通过障碍、走向目标、推箱子”这一组只有50％。作者并未与其他已发表系统做横向对比。

局限也说得很直白：机器人目前主要依赖视觉，很难直接感知接触，当物体离开相机视野或被遮挡时，涉及接触的任务会明显变差，加装触觉感知是下一步方向。仿真数据同样没有完全摆脱人工，新的物理任务仍需人写提示词、设计关键帧。主训练数据用250张 H100 跑了约48小时，运动生成器用64张 B200 做模仿学习，跟踪器用4张 H100。

编译自 Apple Machine Learning Research，原标题："Perceptive Humanoid Motion from Simulation"