3D摄像头能做目标检测,媲美激光雷达的成绩,,你能相信吗?
2018-11-26 15:11
靠一个摄像头拍下的图像做3D目标检测,究竟有多难?目前最先进系统的成绩也不及用激光雷达做出来的1/10。
一份来自剑桥的研究,用单摄像头的数据做出了媲美激光雷达的成绩。
还有好事网友在Twitter上惊呼:
这个能不能解决特斯拉不用激光雷达的问题?马斯克你看见了没?
靠“直觉”判断
为何人单眼能做到3D识别,而相机却做不到?
因为直觉。
人能够根据远小近大的透视关系,得出物体的大小和相对位置关系。
而机器识别拍摄的2D照片,是3D图形在平面上的投影,已经失去了景深信息。
为了识别物体远近,无人车需要安装激光雷达,通过回波获得物体的距离信息。这一点是只能获得2D信息的摄像头难以做到的。
为了让摄像头也有3D世界的推理能力,这篇论文提出了一种“正投影特征转换”(OFT)算法。
作者把这种算法和端到端的深度学习架构结合起来,在KITTI 3D目标检测任务上实现了领先的成绩。
这套算法包括5个部分:
前端ResNet特征提取器,用于从输入图像中提取多尺度特征图。
正交特征变换,将每个尺度的基于图像的特征图变换为正投影鸟瞰图表示。
自上而下的网络,由一系列ResNet残余单元组成,以一种对图像中观察到的观察效果不变的方式处理鸟瞰图特征图。
一组输出头,为每个物体类和地平面上的每个位置生成置信分数、位置偏移、维度偏移和方向向量等数据。
非最大抑制和解码阶段,识别置信图中的峰值并生成离散边界框预测。
这种方法通过将基于图像的特征映射到一个正交3D空间中,打破了图像的束缚。在这个3D空间里,各个物体比例一致、距离也是有意义的。
效果远超Mono3D
作者用自动驾驶数据集KITTI中3712张训练图像,3769张图像对训练后的神经网络进行检测。并使用裁剪、缩放和水平翻转等操作,来增加图像数据集的样本数量。
作者提出了根据KITTI 3D物体检测基准评估两个任务的方法:最终要求每个预测的3D边界框应与相应实际物体边框相交,在汽车情况下至少为70%,对于行人和骑自行车者应为50%。
与前人的Mono3D方法对比,OFT在鸟瞰图平均精确度、3D物体边界识别上各项测试成绩上均优于对手。
尤其在探测远处物体时要远超Mono3D,远处可识别出的汽车数量更多。甚至在严重遮挡、截断的情况下仍能正确识别出物体。在某些场景下甚至达到了3DOP系统的水平。
不仅在远距离上,正投影特征转换(OFT-Net)在对不同距离物体进行评估时都都优于Mono3D。
但是与Mono3D相比,这套系统性能也明显降低得更慢,作者认为是由于系统考虑远离相机的物体造成的。
在正交鸟瞰图空间中的推理显著提高了性能。为了验证这一说法,论文中还进行了一项研究:逐步从自上而下的网络中删除图层。
下图显示了两种不同体系结构的平均精度与参数总数的关系图。
趋势很明显,在自上而下网络中删除图层会显着降低性能。
这种性能下降的一部分原因可能是,减少自上而下网络的规模会降低网络的整体深度,从而降低其代表性能力。
从图中可以看出,采用具有大型自上而下网络的浅前端(ResNet-18),可以实现比没有任何自上而下层的更深层网络(ResNet-34)更好的性能,尽管有两种架构具有大致相同数量的参数。
相关文章
- 鐜嬪仴鏋楄瀹跺嵃娓歌墖鏇濆厜 缃戝弸锛氳繖娆$湡鏄传绌烽檺鍒朵簡鎴戜滑鐨勬兂鍍忓姏
2018-04-16 16:32
- 涓夊搴﹀叏鐞冨彲绌挎埓璁惧鍑鸿揣閲忎笂娑94.6%锛岃嫻鏋滅ǔ鈥
2019-12-10 17:52
- Samsung鏂颁笓鍒╂洕鍏夊叏闈㈠睆娌℃湁鍒樻捣
2018-05-13 13:33
- 鍏ㄥ箙楂橀熻繛鎷岰anon1DX鍗曟満鍞28800鍏
2018-04-09 17:32
- 鍗庝负Mate X棰勮渚涜揣20涓囧彴宸﹀彸
2019-06-30 15:50
- 杞婚噺绾у叆闂ㄦ満锛欶ujifilmX-M1鏃犲弽鐧诲満
2018-01-03 12:00
- 闂厜鐏珶鏈夎繖涔堝鑺辨牱榄呰摑E2璇勬祴
2018-05-29 19:33
- 涓寰幆缁忔祹鐮旂┒闄㈠湪娌у窞鎴愮珛
2020-12-28 16:52
- 2018鏄ヨ妭绗竴鏂版満 榄呰摑E3鑳岄潰璁捐鎹夌溂
2019-02-19 05:37
- iPhone6Plus鎼滀笉鍒癢iFi 鎵嬫満搴楁病淇ソ 澶х鎬濊矾娓呮櫚涓鎷涙悶瀹
2018-05-02 14:31
- 闃块噷YunOS鍗冲皢鍒版潵 鐩墠宸叉湁鍥戒骇鎵嬫満鏀寔 鏈熷緟鍚楋紵
2018-04-29 20:31
- 闇稿睆浜嗭紒闂嵎缃戝叓鍛ㄥ勾鎰熸仼鍥為娲诲姩鐏儹杩涜涓紒
2021-07-22 19:46
- 360鎽勫儚鏈3C浜戝彴鐢垫睜鐗堝紑鍚鍞 鍒涙柊鈥滀笉鎻掔數鈥
2021-03-20 09:54
- 澶栧獟鎶ラ亾锛歀G姝g爺鍙戞柊娆剧炕鐩栧紡鍙姌鍙犳墜鏈
2018-07-06 05:31
- 鎵庡厠浼牸澶绾︿細缁欏瀛愯█浼犺韩鏁 鎵庡厠浼牸瀹堕娆℃洕鍏
2019-12-05 18:53
- 5799鍏冭捣 涓夋槦GalaxyS9/S9锛嬪媰鑹绾㈢増鍙戝竷 涓夊ぇ濂崇浠h█
2018-05-08 17:32
- 鍗板害閫爄Phone缁堜簬涓婂競 浣嗘灉绮変緷鏃у緢澶辨湜
2018-09-22 00:32
- 鏇寸敓琛岃柂閰珽TC锛氭櫤鑳借柂閰競鍦虹殑棰嗚窇鑰
2019-08-20 11:55
- 榄斿吔浜夐湼锛氬畧鍩庡叧鍗$殑璁惧畾鍗佸垎缁忓吀 閭d箞鎴樺焦涓渶缁忓吀鐨勬槸鍝叧锛焈甯屽皵鐡﹀鏂
2019-06-30 14:46
- 鑴戞礊椋樺嚭澶╅檯鐨勭鐮旈槦浼嶅紑鍙戝嚭3D鎵撳嵃姘磋川妫娴嬪櫒
2018-08-05 18:31