TwelveLabs发布Pegasus 1.6 主攻第一视角视频理解

教会一台机器人叠衣服，先得有人看完几十个小时人类叠衣服的第一视角录像，再逐一写下每个动作。视频智能公司TwelveLabs想把这个环节交给模型：10月6日发布的Pegasus 1.6，是该公司首个原生理解「自我中心」（egocentric）视频的模型——也就是由干活的人或机器自己拍下的第一视角画面。

这家由亚马逊、Index Ventures、Naver、NEA和Radical Ventures等投资的公司，此前的主业是帮媒体、体育和广告客户检索、描述海量视频库。此番切入物理AI，瞄准的是机器人行业的一处老大难：靠遥操作采集演示数据成本高昂，联合创始人兼CEO Jae Lee形容那是「一个人配一台机器人」的苦活；而工人头戴相机拍下的画面虽然量大，却仍需人来解读——哪个动作、哪只手、哪个物体、起止在哪一秒。

Pegasus 1.6围绕五类工作流展开：把原始视频自动切成带时间戳的动作步骤，并按客户自定义的分类体系打标；生成描述空间关系与手物交互的密集字幕，供语言条件化的机器人策略训练；在素材进入人工复核前，按动作清晰度、构图和稳定性自动评分、筛掉低质量片段；用自然语言检索整个视频库中的罕见场景与重复片段；以及在素材进入下游开发管线之前，自动标记人脸、旁观者和屏幕上的敏感信息，完成隐私合规筛查。

技术规格上，新模型配备了261120 token的上下文窗口，足以一次处理约两小时的视频；它建立在今年4月发布的Pegasus 1.5之上——那一版本已能在不预先索引的情况下，从两小时长视频中抽取带时间戳的结构化元数据。需要注意的短板是：大批量批处理任务目前仍由1.5版承担，高吞吐场景尚未完全切换到新模型。

这笔账算下来并不小：业内估算，人工标注一小时第一视角视频需要70到155小时，一段两小时的素材就够一名标注员忙上数周。TwelveLabs的赌注是，机器人团队与其从零采集数据，不如把散落在工厂车间和日常生活中的真实人类操作影像，变成可规模化的训练管线。不过与以往一样，这次发布没有附带第三方评测的基准数据——实际效果如何，还要看第一批机器人在真实标注流程里交出的答案。