From:伦敦大学学院; 编译: T.R
点云是三维深度学习中一种重要的资料型别，研究人员们一直致力于高效准确的处理点云，并基于点云实现分类、检测和分割等一系列高阶计算机视觉任务。自从PointNet以来，研究人员们提出了众多基于PointNet的模型和模型变体，极大的拓展了计算机视觉对于三维点云资料的处理能力。
但是由于点云的表示和处理方法对于计算资源的消耗使得网络模型无法加深，同时全域性与区域性的资讯缺乏多层级地互动也限制了模型的表达能力。
为了探索这些问题的解决办法、来自伦敦大学学院的研究人员们提出了一系列新的点云处理模组，从效率、资讯共享和点云卷积操作等方面进行了研究，得到了更宽、更深、更快效率更高的点云处理网络，让更深的点云深度学习模型成为可能。
与影象领域的深度学习架构相比，针对点云的处理手段还比较简单。无论是模组的多样性和网络的宽度与深度上，点云网络的架构都还有很大的发展空间。例如PointNet和PointNet++这样的模型架构随让证明了神经网络的有效性，但是对于计算资源的巨大消耗成为了制约这类架构发展的限制。
网络内部的每一个节点都需要携带所有邻域的特征使得储存资源消耗过大，过深的网络无法高效的实现。而在影象领域的发展经验表明，更深更宽的网络与模型的精度有着直接的联络。研究人员在这一工作中通过引入三方面的新结构来改善点云处理网络的精度、降低计算资源的消耗，同时提升了推理阶段的执行速度。
多分辨率
研究人员引入了多分辨率用于在多个不同的尺度上处理多尺度网络结构，大幅度降低了内存占用。在PointNet++中利用不断增加的聚类半径来对原始点云处理多尺度资讯。而在这篇文章中，研究人员直接在网络早期的处理阶段使用了多个不同的聚类半径来处理，使得模型可以混合多个尺度的资讯，理解多尺度上下文内容并减少计算资源的消耗。
研究人员使用了以下采样的方法来对原始点云进行处理，而后进行分组实现了不同尺度的处理。下图显示了多分辨率的处理方式不仅增加了某个点的领域感受野，同时不增加内存占用，更好的捕获全域性的内容资讯。
图中红色的点表示绿色点增加的感受野
点卷积模组
为了更加高效的获取邻域资讯，研究人员将影象邻域资讯的卷积概念延伸到了点云领域，提出了点卷积概念，在训练过程中更有效地混合邻域资讯。相较于PointNet++减小了67%的内存占用，实现了41%的速度提升。其中的关键在于针对分组操作在前向传播的过程中将中间结果及时释放，利用单层神经网络大大加速了处理过程。
上面的算法显示了前向和反向传播的过程，在内存占用和速度上同时进行了优化。
卷积计算单元对于内存占用的大幅下降使得更深的网络成为可能。与先前的工作相比，这种结构的网络在深度增加时对计算资源需求增加地更为缓慢。
新的模型不仅在降低了初始化地内存需求，当层数增加时内存的增加也较为缓慢。深度翻倍时模型地高分辨和低分辨部分地仅仅增加了16.8%和2.3%。
优化资讯流
为了综合各个尺度下的资讯实现更有效的点云感知，研究人员对模型进行了更深入的分析和改进。首先为了保证在模型加深时网络的稳定性，研究人员在模型中添加了残差结构，在提高训练效果的同时避免了梯度消失的问题。
为了更好地利用多分辨率的资讯，研究人员利用了交叉分辨率连结来为不同分辨率下的分支提供了资讯沟通的渠道，使得高、中、低各个分辨率的资讯得以有效在训练过程中交换，每个分辨率在专注于学习自身尺度资讯的同时与其他分辨率进行资讯交换，更有效地提升了训练和速度和推理地精度。
最终利用邻域卷积、多分辨率交叉互联和多分辨率点云处理等基础模组构建出了可堆叠的深度卷积点云网络。
研究人员在ShapeNet-Part，ScanNet，PartNet等资料集上对算法进行了验证，并利用平均IOU和部分IOU等指标评测了算法对于点云目标分割的表现。研究发现新提出的卷积点云处理结构对于更为复杂的资料表现更为优秀。
首先多分辨率结构为模型提供了不同尺度上的资讯理解，对于不同分辨率的资讯混合可以增加对于复杂资料的感知，更为关键的是在模型同时还在效率上实现了提升。在反向传播阶段时间减少了62%。
其次，交叉连线部分可以看作是不同分辨率间的资讯互补，在很小的内存开销和速度延迟下，能在最复杂的PartNet资料集上实现更好的分割精度。
最后，内存高效的卷积利用单层感知机实现点云特征提取移除了中间层的启用，并利用多个相同单元进行堆叠，不仅提升了2.6~3%的IOU提升，更减小了67%的内存占用和41~68%的时间消耗。
最重要的，由于新的网络模组对于内存的消耗减少，使得更深的点云处理网络成为可能，通过残差结构和交叉互联保证了深度网络的稳定性和资讯的流动过程。
下图展示了模型与PointNet++比较的一些结果，可以看到深度卷积点云网络在分割任务中的的误差更小：
基于本文提出模组重新构建的网络模型在IOU和计算资源利用率上均有大幅度提升：
如果想要了解更多的详细资讯，请参看论文：
https://arxiv.org/pdf/1907.00960.pdf
作者也表示将在不久的将来放出源代码：
https://github.com/erictuanle/GoingDeeperwPointNetworks
ref:
author:
http://www.cs.ucl.ac.uk/drupalpeople/E.Le.html
http://www0.cs.ucl.ac.uk/staff/n.mitra/
http://geometry.cs.ucl.ac.uk/
http://geometry.cs.ucl.ac.uk/publications.php
http://geometry.cs.ucl.ac.uk/projects/
https://www.ucl.ac.uk/computer-science/research
logo pic from:https://dribbble.com/shots/6742459-Bevis-Works
-The End-
将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。
将门创新服务专注于使创新的技术落地于真正的应用场景，启用和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。
将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。
将门创投基金专注于投资通过技术创新启用商业场景，实现商业价值的初创企业，关注技术领域包括机器智慧、物联网、自然人机互动、企业计算。在三年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家俱有高成长潜力的技术型创业公司。
如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎传送或者推荐专案给我“门”: [email protected]
点选右上角，把文章朋友圈
将门创投
让创新获得认可！
微信：thejiangmen
[email protected]
