Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud
摘要
- 构建了一个代理任务，即点云着色，利用自监督学习将学习到的先验知识从大量未标记的点云转移到弱监督网络中。这样，在异构任务的引导下，弱监督网络的表示能力可以得到提高。
- 为了对无标签数据生成伪标签，提出了一种基于生成的类原型的稀疏标签传播机制，用于测量无标签点的分类置信度
本文方法
方法旨在利用知识迁移和标签传播来解决弱监督大规模点云分割下网络产生的不稳定和较差的表示问题，分为以下三部分:
- 自我监督代理任务学习先验知识
- 利用先验知识对弱监督语义分割网络进行微调
- 稀疏标签传播对无标签数据产生伪标签，提高弱监督任务的有效性
将点云着色作为一个自监督的代理任务来学习基于先验的初始化分布。提出了一种局部感知正则化方法来学习上下文信息。然后，利用编码器的预训练参数初始化弱监督网络，以提高特征表示的有效性。
此外，我们利用标记点直接监督网络和微调网络参数。还介绍了一种用于弱监督语义分割的非参数标签传播方法。一些未标记的点通过类原型之间的相似性被分配伪标签和未标记点的嵌入。因此，引入更多的监督信息，以提高训练的有效性。考虑到大规模点云的计算和存储效率，我们选择RandLA-Net作为骨干，这是一种高效、轻量级的大规模点云语义分割神经架构。在下面，我们描述了自监督借口任务和稀疏标签传播方法
自监督代理任务
与二维视觉任务从零开始训练不同，彩色化提供了强大的监督信号。训练数据易于收集，所以任何带颜色的点云都可以作为训练数据。由于点云采集设备的进步，我们可以访问到大量带有颜色信息的未标记点云数据。我们研究并实现了点云着色的自监督学习，并将其作为一个代理任务。点着色的目的是指导自监督模型学习特征表示。Lab色彩空间有利于感知距离
因此，我们在这个颜色空间中通过a, b补全来执行点云着色。给定亮度通道L，网络预测a和b颜色通道以及每个点的局部高斯分布。值得注意的是，通道L中的值被复制到每个点的3倍，以保持与分割任务的输入相同的维度。因此，输入点云Xs = [x1, x2，…]， xN s]∈RN s×6由N个坐标为xyz的三维点组成，其中3个l为一个点云中的点数。
此外，我们通过修改最终输出层实现了RandLA-Net在自监督任务上的实现。也就是说，该网络的输出是一个6维向量，其中包含预测的a、b和相应的局部均值和方差。
其中，a、b、µ和σ分别表示预测的a、b和相应的局部均值和方差。
此外，为了学习每个点的局部颜色分布，我们引入了一个局部感知正则化项。如果网络能够预测邻居的颜色分布(均值和方差)，则可以嵌入与分割任务一致的局部信息弱监督语义分割的局部特征。给定点xi为质心，局部邻域N (xi)由KNN根据欧几里得距离计算。通道的标准值µai和σai可由:
为什么从代理任务中学到的知识有利于语义分割?
代理任务学习与语义分割任务相似的特征分布。同一类别的物体通常具有相似的颜色分布，例如植被通常是绿色的，而道路是黑色的。场景的表面颜色纹理为许多类别提供了充足的线索。
代理任务嵌入局部特征表示。我们引入一个局部感知正则化项来约束局部颜色分布，使其与原始分布一致。因此，它允许网络嵌入更多的局部信息。因此，它可以增强语义分割任务中局部特征的嵌入。
稀疏标签传播
在标记点较少的情况下，分割性能明显下降。主要原因是少数标记点提供的监督信息不能很好地传播到未标记点。因此，我们使用标记点为未标记点分配伪标签，并进一步提供额外的监督信息来改进弱监督网络的表示。
为了实现这一目标，需要考虑以下几个方面:1)计算复杂度不高，内存资源不大。大规模点云通常包含~ 10的6次方个点，如果使用所有点作为节点来构建一个全连通图，将会消耗大量的内存和计算资源。2)锚点要稀疏。一些不明确的点不应该给标签来训练网络。3)传播标签应柔软。传播的标签应该与其相似度相关，相似度越高，标签越相似。
设计了一种稀疏标签传播方法。整体框架如图所示。它由三个部分组成:类原型生成、类赋值矩阵构造、稀疏伪标签生成。
Class prototype generation
在网络的最后两层，我们输出embeding Z = [zl1, zl2，…， zlM;Zu1, zu2，…， zuN]∈R(M+N)×d，对应的预测Y = [yl1, yl2，…， ylM;Yu1, yu2，…， yuN]∈R(M+N)×C来自M个标记点和N个未标记点。我们用Zl, Zu分别表示标记点和未标记点的嵌入。首先根据标记点生成C原型来表示C类;具体来说，我们简单地取每个类的标记点嵌入Zl的平均值。对于类c，原型ρc为:
Class assignment matrix construction
相似矩阵W∈RN×C ：
Sparse pseudo label generation
每个类别都有一些相似度较低的点。这些点不适合为训练网络提供监督信息。具体来说，对于每个类，根据类赋值矩阵S，选择前k个无标记点，得到mask Mk∈{0,1}N×C，其中mkic = 1表示第i个点的嵌入是与类c相似的前k个点，N是无标记点的个数。这是一种具有平衡数量的类别的标签扩展方法
它可以在一定程度上缓解类别失衡。
由于一个未标记的点可能属于多个类别，我们选择最相似的类别生成二进制掩码。根据Mk，我们得到点掩码Mpt∈{0,1}N。MPTi= 1表示第I个点被分配了一个伪标签。我们可以通过以下方法得到稀疏伪标签Y p∈RN×C:
与传统的全连通图标签传播方法相比，该方法具有较高的计算效率。该方法的复杂度为O(N Cd)，而全连通图方法的复杂度为O((N + M)2d)。C为类别数，d为祖的维数。C的幅度为~ 101，比N小得多
损失函数
引入一个非线性参数λ来平衡这两个损失：
