DeepMind 研究:未知物体也能轻松识别分割,效果可迁移
消息来源:baojiabao.com 作者: 发布时间:2024-05-12
从来没有见过的新物体,它也能进行很好地分割。
这是 DeepMind 研究出的一种新的学习框架:目标发现和表示网络(Object discovery and representation networks,简称 Odin)
以往的自我监督学习(SSL)方法能够很好地描述整个大的场景,但是很难区分出单个的物体。
现在,Odin 方法做到了,并且是在没有任何监督的情况下做到的。
区分出图像中的单个物体可不是很容易的事,它是怎么做到的呢?
方法原理
能够很好地区分出图像中的各个物体,主要归功于 Odin 学习框架的"自我循环"。
Odin 学习了两组协同工作的网络,分别是目标发现网络和目标表示网络。
目标发现网络以图像的一个裁剪部分作为输入,裁剪的部分应该包含图像的大部分区域,且这部分图像并没有在其他方面进行增强处理。
然后对输入图像生成的特征图进行聚类分析,根据不同的特征对图像中各个物体的进行分割。
目标表示网络的输入视图是目标发现网络中所生成的分割图像。
视图输入之后,对它们分别进行随机预处理,包括翻转、模糊和点级颜色转换等。
这样就能够获得两组掩模,它们除了剪裁之外的差异,其他信息都和底层图像内容相同。
而后两个掩模会通过对比损失,进而学习能够更好地表示图像中物体的特征。
具体来说,就是通过对比检测,训练一个网络来识别不同目标物体的特征,同时还有许多来自其他不相干物体的"负面"特征。
然后,最大化不同掩模中同一目标物体的相似性,最小化不同目标物体之间的相似性,进而更好地进行分割以区别不同目标物体。
与此同时,目标发现网络会定期根据目标表示网络的参数进行相应的更新。
最终的目的是确保这些对象级的特性在不同的视图中大致不变,换句话说就是将图像中的物体分隔开来。
那么 Odin 学习框架的效果究竟如何呢?
能够很好地区分未知物体
Odin 方法在场景分割时,没有先验知识的情况下迁移学习的性能也很强大。
首先,使用 Odin 方法在 ImageNet 数据集上进行预训练,然后评估其在 COCO 数据集以及 PASCAL 和 Cityscapes 语义分割上的效果。
已经知道目标物体,即获得先验知识的方法在进行场景分割时,效果要明显好于其他未获得先验知识的方法。
而 Odin 方法即使未获得先验知识,其效果也要优于获得先验知识的 DetCon 和 ReLICv2。
除此之外,Odin 方法不仅可以应用在 ResNet 模型中,还可以应用到更复杂的模型中,如 Swim Transformer。
在数据上,Odin 框架学习的优势很明显,那在可视化的图像中,Odin 的优势在何处体现了呢?
将使用 Odin 生成的分割图像与随机初始化的网络(第 3 列),ImageNet 监督的网络(第 4 列)中获得的分割图像进行比较。
第 3、4 列都未能清晰地描绘出物体的边界,或者缺乏现实世界物体的一致性和局部性,而 Odin 生成的图像效果很明显要更好一些。
参考链接:
[1] https://twitter.com/DeepMind/status/1554467389290561541
[2] https://arxiv.org/abs/2203.08777
本文来自微信公众号:量子位 (ID:QbitAI),作者:Pine
2023-02-12 19:22:00相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24