3D object detection 论文、代码和数据集汇总

2019

(多模态)MVX-Net: Multimodal VoxelNet for 3D Object Detection

code: https://paperswithcode.com/paper/mvx-net-multimodal-voxelnet-for-3d-object

摘要：最近许多关于三维目标检测的工作都集中在设计可以消耗点云数据的神经网络架构上。虽然这些方法表现出令人鼓舞的性能，但它们通常基于单一模式，不能利用来自其他模式的信息，如相机。虽然有一些方法融合了来自不同模式的数据，但这些方法要么使用复杂的管道来顺序处理模式，要么执行晚期融合，并且不能在早期阶段学习不同模式之间的相互作用。在这项工作中，我们提出了点融合和体素融合：两种简单而有效的早期融合方法来结合RGB和点云模式，通过利用最近引入的点云网架构。对KITTI数据集的评估显示，与仅使用点云数据的方法相比，其性能有了显著的改进。此外，该方法提供的结果与最先进的多模态算法竞争，通过使用一个简单的单阶段网络，在KITTI基准上的六种鸟瞰视图和三维检测类别中，实现了排名前2名。

2021

SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud

code: https://paperswithcode.com/paper/se-ssd-self-ensembling-single-stage-object

摘要： 我们提出了自集成单级目标探测器(SE-SSD)，用于在室外点云中进行精确和高效的三维目标检测。我们的重点是利用软目标和硬目标与我们制定的约束来共同优化模型，而不是在推理中引入额外的计算。具体来说，SE-SSD包含一对教师和学生的ssd，其中我们设计了一个有效的基于iou的匹配策略，从教师那里过滤软目标，并制定一个一致性损失，以使学生的预测与它们相一致。此外，为了最大限度地提高教师的知识，我们设计了一种新的增强方案来产生形状感知增强样本来训练学生，旨在鼓励学生推断出完整的物体形状。最后，为了更好地利用硬目标，我们设计了一个ODIoU损失来监督学生对预测的盒中心和方向的约束。与之前发表的所有作品相比，我们的SE-SSD获得了最好的性能。此外，它在KITTI基准测试中(分别在BEV和3D排行榜上排名第一和第二)具有超高推理速度的最高精度。

2022

PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection

code: https://paperswithcode.com/paper/pv-rcnn-point-voxel-feature-set-abstraction-1

摘要： 三维目标检测因其在各个领域的广泛应用而越来越受到业界和学术界的关注。在本文中，我们提出了基于点体素区域的卷积神经网络(PV-RCNNs)用于从点云进行三维目标检测。首先，我们提出了一种新的三维检测器，PV-RCNN，它包括两个步骤：体素到关键点的场景编码和关键点到网格的RoI特征抽象。这两步将三维体素CNN与基于pointnet的集抽象深入集成，以提取鉴别特征。其次，我们提出了一个先进的框架，PV-RCNN++，用于更高效和准确的三维目标检测。它包括两个主要的改进：以部门化的以提案为中心的策略，以有效地产生更具有代表性的关键点，以及向量池聚合，以更好地聚合局部点特征和更少的资源消耗。有了这两种策略，我们的PV-RCNN++比PV-RCNN快2倍以上，同时在具有150m×150m检测范围的大规模Waymo开放数据集上也取得了更好的性能。此外，我们提出的PV-RCNNs在Waymo开放数据集和竞争非常激烈的KITTI基准测试上都实现了最先进的3D检测性能。