Google大脑、英特尔和柏克莱以影片训练机器人动手术

Google大脑、英特尔和柏克莱大学合作开发了一种称为Motion2Vec的算法，让机器人透过观看影片，学习执行外科手术的相关任务，完成包括缝合、穿针以及打结等动作，研究人员将其实际应用在双臂达芬奇外科手术系统，在实验室中成功让针穿过布料。

研究人员提到，在嵌入空间（Embedding Space）学习有意义的视觉表示，可以促进发展动作分割和模仿等任务。最新的Motion2Vec算法，透过最小化孪生神经网络度量学习（Metric Learning）损失，从影片中学习深度嵌入特征空间，研究人员表示，算法在学习时，会讲究图像的排序，将同一动作片段的图像汇集在一起。

Motion2Vec是一种半监督式学习算法，其命名规则类似Word2Vec和Grasp2Vec等模型，都是从影片中学习动作，在孪生神经网络中，将相似动作分割和度量学习结合在一起，习得一个深度嵌入特征空间。柏克莱大学之前就曾使用YouTube影片来训练人工智能跳舞、后空翻和各种杂耍，而Google也有相关研究，是使用影片教四足机器人学习狗的灵活动作。

研究人员提到，透过专家示范的影片，可以训练机器人操作技能，以改进用于手术的机器人，实验结果显示，Motion2Vec的表现比目前最先进的方法都还要好。Motion2Vec从JIGSAWS资料集的公开影片中模仿手术缝合动作，达到了平均85.5％的分割精准度，比参考文献的分割精准度更高，而在对手术缝合影片进行运动模拟时，每个测试集观察到的位置误差为0.94公分。研究人员提到，他们并未对针和缝合目标进行接触动力学建模，而是仅在运动层级模拟缝合动作。

JIGSAWS是JHU-ISI Gesture and Skill Assessment Working Set的缩写，该资料集包含了来自约翰霍普金斯大学，和生产达芬奇外科手术系统的直觉外科公司的手术影片。