目录
- 论文题目：OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation
- 发布期刊：CVPR 2024
- 作者地址：1香港中文大学 2香港大学 3香港中文大学，深圳 4HIT，深圳
- 代码地址：https://github.com/Pointcept
介绍
这篇论文主要研究了3D语义分割领域中的一种新型稀疏卷积神经网络（CNN），称为全自适应3D稀疏CNN（Omni-Adaptive 3D Sparse CNNs，简称OA-CNNs）。研究的重点是提升传统稀疏CNN的性能，使其在精确度和计算效率上都能与基于Transformer的网络模型相媲美或超越。
研究中指出，现有的稀疏CNN在3D语义分割任务上通常不如基于Transformer的模型，原因在于其缺乏足够的自适应性。为了解决这一问题，论文提出了两个关键的技术创新：
- 空间自适应感受野（Spatially Adaptive Receptive Fields）：通过改进卷积核的设计，使网络能够根据输入数据的不同部分自动调整感受野的大小，从而更好地处理不同的几何结构和复杂性。
- 自适应关系卷积（Adaptive Relation Convolution，ARConv）：这是一种新型的卷积方法，可以在保持计算效率的同时，自动调整卷积核权重，以捕捉局部点之间的关系。
这些技术使OA-CNNs在多个标准数据集上的表现超越了多种先进的Transformer模型，例如ScanNet v2、nuScenes和SemanticKITTI，同时在速度和内存使用上也有显著优势。通过实验验证，OA-CNNs在不同的室内外场景中都展示了卓越的性能和效率。
核心思想及其实现
这篇论文的核心思想是通过增强稀疏卷积神经网络（Sparse CNN）的自适应性，使其在3D语义分割任务中能够在精度和计算效率方面超越基于Transformer的模型。具体而言，论文认为现有的Sparse CNN相比于Transformer模型表现较差的主要原因在于它缺乏足够的自适应能力。为此，作者提出了两种核心的技术手段来提升Sparse CNN的自适应性：
-
空间自适应感受野（Spatially Adaptive Receptive Fields）：传统的卷积神经网络感受野是固定的，但在3D场景中，不同区域可能需要不同大小的感受野来捕获细节（例如复杂物体的边缘）或整体信息（例如平面）。论文通过设计自适应的卷积结构，使得感受野可以根据不同场景的特征动态调整，确保网络在不同几何结构中都能有最优的特征提取能力。
-
自适应关系卷积（Adaptive Relation Convolution，ARConv）：在Transformer架构中，注意力机制能有效捕捉输入中不同位置之间的关系，提升模型的上下文感知能力。而论文通过引入自适应关系卷积（ARConv），在不增加太多计算和内存开销的情况下，使卷积核的权重能够动态调整，从而增强Sparse CNN的局部关系建模能力，使其能够在保持高效率的同时捕捉复杂的空间关系。
通过这两种改进，论文提出的Omni-Adaptive 3D Sparse CNNs (OA-CNNs) 能够在多个基准数据集（如ScanNet v2、nuScenes和SemanticKITTI）上超过基于Transformer的方法，同时保持显著的计算效率和内存优势。这一成果展示了在3D语义分割任务中，纯粹基于卷积的网络仍然具有强大的潜力，并且可以通过设计上的改进实现与Transformer相媲美甚至更优的性能。
引入空间自适应感受野
- 目标：使稀疏卷积网络的感受野能够根据不同的输入区域动态调整大小，从而在不同场景中取得最优的特征提取效果。
- 步骤：
- 分割为金字塔体素网格（Pyramid Grid Partition）：将输入的3D场景划分为多个不同大小的金字塔体素网格。每个网格代表一个不同的感受野尺度，用来适应不同的几何特征。
- 多尺度聚合（Multi-Scale Aggregation）：通过一个自适应聚合器（Adaptive Aggregator）来根据局部特征对多个尺度的输出进行加权融合。自适应聚合器通过学习每个体素的特征来预测不同尺度的权重，从而决定不同区域应该使用的感受野大小。
自适应关系卷积（ARConv）
- 目标：增强稀疏CNN在建立空间关系方面的能力，使其能够像Transformer模型一样有效地捕捉远程依赖。
- 步骤：
- 深度卷积（Depthwise Convolution）：为了在保持轻量级设计的同时扩展卷积的感受野，论文选择使用深度卷积（Depthwise Convolution），这种卷积方式对每个输入通道使用单独的卷积核，减少了计算复杂度。
- 生成自适应卷积核权重：对于每一个体素网格，通过计算网格中各体素与网格中心体素的关系来动态生成卷积核权重。具体方法为计算每个体素与网格中心的差值，并将其通过线性映射生成卷积权重。这种自适应方式使得卷积能够更好地根据局部特征调整。
网络整体架构设计
- 目标：构建一个基于稀疏CNN的完整体系结构，确保所提出的模块能够有效集成并应用于3D语义分割任务中。
- 步骤：
- 编码器-解码器架构（Encoder-Decoder Architecture）：采用U-Net式的编码器-解码器架构。在编码器部分，使用了稀疏卷积（Sparse Convolution）和子流形卷积（Submanifold Convolution）来逐层提取特征，逐步减少空间分辨率。在解码器部分，使用线性层和上采样模块进行空间分辨率的逐步恢复。
- 基本模块的设计（Basic Block Design）：每个基本模块由一个自适应关系卷积（ARConv）模块和两个子流形卷积（Submanifold Convolution）模块组成。这种设计能够保持对稀疏数据的处理能力，同时充分利用自适应卷积的优点。
- 多尺度特征融合（Multi-Scale Feature Fusion）：在解码过程中，通过多尺度上采样模块对编码器中不同尺度的特征进行融合，确保每个输出层都包含足够的上下文信息，以更好地进行语义分割。
训练和验证
- 数据集：使用标准的3D语义分割数据集（如ScanNet v2、nuScenes、SemanticKITTI等）进行训练和验证。
- 训练策略：
- 优化器：采用AdamW优化器进行参数优化，初始学习率为0.001，并采用余弦退火学习率策略。
- 数据增强：在训练过程中采用随机丢弃、旋转、缩放、颜色扰动等数据增强方法，以提高模型的泛化能力。
实验与评估
- 实验设置：所有实验都在相同的硬件环境下进行（例如RTX 3090），以确保不同模型之间的公平比较。
- 评估指标：主要采用平均交并比（mIoU）来评估模型在多个3D语义分割任务中的表现，并与当前最先进的模型进行比较。
如何改进PointNet++
为了利用上面提到的核心思想来改进PointNet++，我们可以引入增强自适应性的模块，使其在处理3D点云数据时能够更有效地捕捉局部和全局信息，从而提高PointNet++在3D语义分割任务中的性能。下面是改进PointNet++的具体思路和步骤：
引入空间自适应感受野
在PointNet++中，不同的点被嵌入到局部环境中，但这种局部感受野的尺度是通过固定半径来选择的。改进的目标是让感受野能够根据不同点的局部几何结构自适应变化。具体实现方法如下：
-
自适应感受野半径：替换PointNet++中原有的固定半径的球形邻域，使用自适应半径的方式。通过分析点的几何复杂性，定义适应性的采样半径。例如，对于平坦区域，增大半径以捕捉更多上下文信息；对于复杂区域，如边缘或物体交界处，减小半径以保留局部细节。
-
金字塔结构的邻域划分：类似于OA-CNNs中的金字塔体素网格，将输入点云根据不同尺度划分为多个层次的邻域。这意味着每个点不仅仅会在一个半径内被考虑，而是同时在多个尺度下被处理，并通过自适应加权来组合这些特征。这能够使网络自动选择最优的感受野尺度来更好地捕获局部和全局信息。
引入自适应关系学习
PointNet++的一个局限是它在建立点之间的关系时仅仅依靠静态的MLP操作，缺乏对邻域点关系的灵活建模。为此，可以引入类似OA-CNNs的自适应关系学习机制来改进PointNet++：
-
自适应关系加权：为PointNet++的邻域聚合模块引入自适应权重生成器，动态地为每个邻域点生成权重。可以通过计算中心点与邻域点的相对几何特征（例如位置差异）来生成这些权重，以加强对有意义特征的关注。
-
引入自适应关系卷积（ARConv）：PointNet++中原本的局部特征提取可以替换为自适应关系卷积模块，这样可以动态调整卷积核权重以捕捉不同点之间更复杂的关系，特别是那些与场景几何结构紧密相关的特征。这个方法不仅能提升模型的灵活性，还能有效捕捉点云中的细粒度结构。
利用自适应聚合器
可以将自适应聚合器的思想应用于PointNet++的多层次特征聚合模块中，以更好地融合来自不同尺度的特征。
- 自适应聚合策略：为每个点引入一个自适应聚合器，它根据点的局部几何特征预测出在不同尺度下的特征权重，然后将这些不同尺度下的特征加权融合。这种方式不仅可以更好地适应不同点的结构复杂度，而且还可以提高全局语义信息的整合能力。