Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds
一种用于3D点云弱监督语义分割的多路径区域搜索方法
CVPR 2020
本文的亮点有两个：1对点云语义分割用弱监督训练，2 Multi-Path Region Mining模块，主要挖掘了attention机制在点云中的应用
摘要
| 原文 | 译文 |
|---|---|
| Point clouds provide intrinsic geometric information and surface context for scene understanding. | 点云对于场景理解提供了固有的几何信息和表面语境。 |
| Existing methods for point cloud segmentation require a large amount of fully labeled data. | 现有的点云分割方法需要大量的标注数据。 |
| Using advanced depth sensors, collection of large scale 3D dataset is no longer a cumbersome process. | 利用先进的深度传感器，大规模3D数据的采集不再是一个复杂的过程。 |
| However, manually producing point-level label on the large scale dataset is time and labor-intensive. | 但是，手动的进行逐点级别的标注需要大量人力和时间。 |
| In this paper, we propose a weakly supervised approach to predict point-level results using weak labels on 3D point clouds. | 本文提出了一种弱监督学习的方法，利用弱标签对点云进行逐点级别的预测和分割。 |
| We introduce our multi-path region mining module to generate pseudo point-level label from a classification network trained with weak labels. | 我们提出了multi-path region mining模块，用弱标签训练一个分类网络来产生每个点的伪标签。 |
| It mines the localization cues for each class from various aspects of the network feature using different attention modules. | MPRM模块利用不同的attention模块，从特征图的不同方面挖掘各个类的位置线索。 |
| Then, we use the point-level pseudo la-bels to train a point cloud segmentation network in a fully supervised manner. | 然后，利用产生的伪标签来全监督地训练点云分割网络。 |
| To the best of our knowledge, this is the first method that uses cloud-level weak labels on raw 3D space to train a point cloud semantic segmentation network. | 据我们所知，本文是第一个利用原始点云弱标签来训练点云分割的网络。 |
| In our setting, the 3D weak labels only indicate the classes that appeared in our input sample. | 本文所提的方法中，3D弱标签仅仅表面出现在sample中点的类别。 |
| We discuss both scene- and subcloud-level weakly labels on raw 3D point cloud data and perform in-depth experiments on them. | 我们讨论了两种弱标签的方式，并且做了全面深入的实验。 |
| On ScanNet dataset, our result trained with subcloud-level labels is compatible with some fully supervised methods. | 在ScanNet数据集上，我们提出的弱监督的方法能够与全监督的结果一样。 |
亮点
multi-path region mining模块结构如图所示
分别提出了
Spatial Attention Module
Channel Attention Module
Point-wise Attention Module
其中，Spatial Attention Module和Point-wise Attention Module差不多，只是最后特征一个是res一个是concate了，这两个attention都是通过学习三个mlp来实现，和之前看到的point attention差不多，就是把不同点之间的影响加入了。
Channel Attention Module是不引进新的参数的，加入不同channel之间的影响，无参数的attention和skip-attention里有点像。
作者在实验部分对着三个模块也做了ablation
给出的结论肯定是3个结合在一起是最好的，但正如有些博主指出，这3个attention在一起会存在特征冗余现象，而且我自己也试了，感觉并不是融合最好。这里面感觉可以挖一挖细节，还可以进一步改进。
参考链接：
orientliu96
sinat_26743719