人类赖以探索世界的两个重要工具是视觉和触觉。人类可以结合视觉和触觉来了解他们持有和看到的物体。机器人和人工智能系统无法做到这一点。来自麻省理工学院的研究员Yunzhu Li和他的团队正在研究一种系统,帮助机器人在程式设计看到或感觉到,以弥合它们和人类之间的感官差距。
该团队已经开发出一个系统,该系统从视觉输入中建立触觉讯号,并预测从这些触觉输入中触控到的物件和部分。研究人员将他们的系统与麻省理工学院另外一个小组设计的Kuka机器人手臂和一个叫做Gelsight的特殊触觉感测器一起使用。
该小组使用网络摄像机记录了近200件物品,包括工具、家用产品、织物以及其他物品,它们被触控超过12000次。然后,他们将这12000个视讯片段分解成静态帧,并编译了一个包含300多万个视觉/触觉配对影象的VisGel资料集。
研究人员表示,通过观察现场,他们的模型可以想象到触控平面或锋利边缘的感觉。通过盲目的触控周围,模型可以从纯粹的触觉上预测与环境的互动。他注意到,通过将两种感官结合起来,它们可以赋予机器人力量,减少涉及操作和抓取物体任务所需的资料。






























