【论文笔记】MonoNeRD: NeRF-like Representations for Monocular 3D Object Detection

原文链接：https://arxiv.org/abs/2308.09421

1. 引言

  目前依靠显式深度估计获取的图像3D表达有局限。首先是提升特征的不均匀分布，即近处密集，远处稀疏。二是检测性能极大依赖于深度估计精度。
  NeRF能从已知相机姿态的图像重建密集而细节的3D场景几何与占用信息。受NeRF启发，本文使用类似NeRF的3D表达。首先结合图像特征与归一化的视锥3D坐标，得到3D位置感知的视锥特征。然后用其生成有符号的距离场和辐射场（RGB色彩），距离场将每个位置到其最近表面的距离编码为标量。然后，使用体素渲染技术，通过原始RGB图像和激光雷达点云进行监督，生成RGB图像和深度图。过去的方法是基于预测深度图生成3D表达，而本文是基于3D表达生成深度图。本文的方法能在无需显式的逐网格标注的情况下生成密集的3D占用（体积网格密度）。

3. 准备知识

3.1 有符号距离函数（SDF）

  有符号距离函数是空间坐标的连续函数，输出点到最近表面的距离，其符号表示点位于表面的内侧（负）或外侧（正）。
  设$\Omega \in {\mathbb{R}}^3$是占用空间，$\mathcal{M}=\partial \Omega$为边界表面，$\Omega$的指示函数$$1_{\Omega }(x)=\{\begin{array}{c}1,若x\in \Omega \\ 0,若x\notin \Omega \end{array}$$则有距离符号函数为$$d_{\Omega }=(-1{)}^{1_{\Omega }(x)}\underset{y\in \mathcal{M}}{\min }\Vert x-y\Vert$$其中$\Vert \cdot \Vert$为标准欧式2范数。表面$\mathcal{M}$可用满足$d_{\Omega }(\cdot )=0$的集合表示。

3.2 将SDF转换为密度

  体积网格密度$\sigma :{\mathbb{R}}^3\to {\mathbb{R}}_{+}$是标量函数，其中$\sigma (x)$可解释为光在$x$处被遮挡的概率。使用可学习的SDF变换建模密度$\sigma$：$$\sigma (x)=\alpha {\Psi }_{\beta }(-d_{\Omega }(x))$$其中$\alpha ,\beta >0$为可学习参数，${\Phi }_{\beta }$为均值为0、尺度为$\beta$的拉普拉斯分布的累积分布函数：$${\Phi }_{\beta }(s)=\{\begin{array}{c}\frac{1}{2}\exp (\frac{s}{\beta }),若s\le 0\\ 1-\frac{1}{2}\exp (-\frac{s}{\beta }),若s>0\end{array}$$随着$\beta$趋于0，密度$\sigma$收敛到$\Omega$的指示函数，即对于所有$x\notin \Omega \backslash \mathcal{M}$，有$\sigma \to \alpha 1_{\Omega }$。本文设置$\alpha ={\beta }^{-1}$。

3.3 体积网格渲染

  体积网格强度（RGB色彩）$c:{\mathbb{R}}^3\to {\mathbb{R}}^3$是空间坐标的向量函数，其中$c(x)$表示位置$x$处的强度或颜色。给定颜色$c$和密度$\sigma$，以近端$t_n$和远端$t_f$为界的射线$r(t)=o+td$（其中$o$为射线起点，$d$为射线方向）的期望颜色$C(r)$为：$$C(r)={\int }_{t_n}^{t_f}T(t)\sigma (r(t))c(r(t))dt，其中T(t)=\exp \left(-{\int }_{t_n}^{t_f}\sigma (r(s))ds\right)$$函数$T(t)$表示沿射线从$t_n$到$t$的积累透射率，即光从$t_n$到$t$不被遮挡的概率。

4. 方法

  概述：整体框架如上图所示。本文依照LIGA-Stereo（去掉立体视觉部分），将3D特征表达替换为本文的类似NeRF的表达，其余部分（主干网络和检测头）保持不变。
  给定图像，首先图像主干提取特征，然后生成类似NeRF的3D表达。具体来说，首先由3D视锥特征和SDF函数特征转换建立位置感知的视锥，并通过体积网格渲染获得RGB和密度信息以渲染RGB图像和深度图（由RGB损失和深度损失监督）。然后，使用网格采样从3D视锥特征建立规则的3D体素和相应的密度，形成3D体素特征，输入检测头。

4.1 类似NeRF的表达

  本文使用的类似NeRF表达与NeRF的区别是，NeRF使用MLP编码，需要逐场景训练；而本文的表达从单一RGB图像中预测连续的3D几何信息。

4.1.1 位置感知的视锥建立

  在没有深度的情况下将2D图像特征提升到3D空间，最直接的方法就是在不同深度平面复制图像特征。但是这样会导致模糊的空间特征。
  本文使用基于查询的方式，将2D图像特征$F_{image}\in {\mathbb{R}}^{H\times W\times C}$映射到归一化的3D视锥空间。具体来说，给定最小深度$z_n$和最大深度$z_f$，在深度区间内带随机扰动地等间距采样$D$个平面。每个像素$(u,v)$在每个平面上，都有对应的3D坐标$(u,v,z)$。该坐标会被归一化。这样，得到$F_{pos}\in {\mathbb{R}}^{H\times W\times D\times 3}$的3D位置视锥特征。使用线性层将$F_{pos}$映射为$Q\in {\mathbb{R}}^{H\times W\times D\times C}$，另外两个线性层将$F_{image}$映射为$K,V\in {\mathbb{R}}^{H\times W\times C}$，并按下式得到位置感知的视锥特征：$$F_P=\text{Softmax}(QK)V$$其中Softmax沿深度维度进行。

4.1.2 视锥内的体积网格渲染

  首先进一步使用3D卷积块（softplus激活函数）处理$F_P$，得到$F^{\prime }\in {\mathbb{R}}^{H\times W\times D\times (1+C)}$。

i) SDF和密度特征

  $F^{\prime }$的第一个通道特征被视为SDF特征$F_{sdf}\in {\mathbb{R}}^{H\times W\times D\times 1}$，表达输入图像的场景几何。对任意的3D点，可通过对$F_{sdf}$三线性采样得到其有符号距离$s(x,y,z)$。然后，场景体积网格密度$\sigma$（或者密度视锥$F_{density}\in {\mathbb{R}}^{H\times W\times D\times 1}$）可由下式获取：$$\begin{gathered} \sigma (x,y,z)=\alpha {\Psi }_{\beta }(s(x,y,z)) \\ {F}_{density}=\alpha {\Psi }_{\beta }(F_{sdf}) \end{gathered}$$密度将被用于渲染深度图，加权体素特征。

ii) RGB特征

  $F^{\prime }$剩下的$C$个通道的特征$F^{\prime \prime }\in {\mathbb{R}}^{H\times W\times D\times C}$会通过另一个3D卷积块（softmax激活函数），得到近似场景辐射场的$F_{rgb}\in {\mathbb{R}}^{H\times W\times D\times 3}$。同样可使用三线性插值从$F_{rgb}$得到任一一点的色彩强度$c(x,y,z)$。
  从原始视图渲染：为节省GPU空间，本文渲染下采样的RGB图像${\hat{I}}_{low}$和深度图${\hat{Z}}_{low}$。给定相机参数和一组深度值，${\hat{I}}_{low}$中的一个像素可被投影为若干3D点。相邻两个3D点的距离记为${\delta }_{x_i,y_i,z_i}$。设深度$z_i$处的距离图为${\delta }_{z_i}\in {\mathbb{R}}^{H\times W\times 1}$，并从$F_{density}$和$F_{rgb}$得到密度图${\sigma }_{z_i}\in {\mathbb{R}}^{H\times W\times 1}$和色彩图$c_{z_i}\in {\mathbb{R}}^{H\times W\times 3}$。可按下式渲染$\hat{I}$：$${\hat{I}}_{low}=\sum _{i=1}^D{T}_i(1-\exp (-{\sigma }_{z_i}{\delta }_{z_i}))c_{z_i}$$其中$T_i=\exp (-{\sum }_{j=1}^{i-1}{\sigma }_{z_j}{\delta }_{z_j})$为从深度平面1到深度平面$i$的积累透射率图。类似地，深度图可按下式渲染：$${\hat{Z}}_{low}=\sum _{i=1}^D{T}_i(1-\exp (-{\sigma }_{z_i}{\delta }_{z_i}))z_i$$  本文直接将${\hat{I}}_{low}$与${\hat{Z}}_{low}$上采样到原始尺寸，得到$\hat{I}$和$\hat{Z}$。使用RGB损失和深度损失对上述渲染进行监督。
  从其余视图渲染：只要其余视图的视锥与原始视锥重叠且校准矩阵已知，就可从该视图进行渲染。渲染方法与前文相同。这样可以利用其余视图的额外监督。例如，如下图所示，可以从双目相机图像作为体积网格渲染目标，此时甚至可不用深度监督。

4.1.3 体素特征生成

  类似CaDDN，使用相机参数和可微采样将视锥体素特征转换为规则体素特征。首先定义体素$V\in {\mathbb{R}}^{H^{\prime }\times W^{\prime }\times D^{\prime }\times 3}$，将各体素中心变换到视锥坐标系，使用三线性采样视锥特征$(F^{\prime \prime },F_{density})$得到体素特征$(V^{\prime \prime },V_{density})$。
  由于密度表示3D占用，本文使用其加强3D体素特征$V^{\prime \prime }$。最终的3D体素特征为$$V_{3d}=V^{\prime \prime }\cdot \tanh (V_{density})$$其中$\tanh (\cdot )$将$V_{density}$归一化，而$V_{3d}$为类似NeRF的表达，因其和NeRF是以相同的优化方式学习场景几何和占用的。

4.2 损失函数

  损失函数包括4项：RGB损失，深度损失，SDF损失和LIGA原始的损失。
  RGB损失：包含两项，SmoothL1损失和SSIM损失，这两项经常用于图像重建。
  深度损失：使用激光雷达点云投影到图像上获取深度标签。深度损失为稀疏深度图与预测深度图之间的L1损失。$$L_{depth}=\frac{1}{N_{depth}}\sum _{u,v}\Vert \hat{Z}-Z{\Vert }_1$$其中$N_{depth}$为有深度标签的像素数。
  SDF损失：鼓励$F_{sdf}$在几何表面$\mathcal{M}$处消失。$$L_{sdf}=\frac{1}{N_{gt}}\sum _{x,y,z}\Vert F_{sdf}(x,y,z){\Vert }_2$$其中$N_{gt}$为当前相机视图内的激光雷达点数。
  LIGA损失：保留检测损失、模仿损失和辅助2D监督损失，移除立体深度估计损失。

5. 实验

5.3 主要结果

  KITTI：MonoNeRD能在无需额外数据的情况下达到与其余方法可比的性能。
  Waymo：MonoNeRD能在无需数据增广和使用轻量级主干的情况下达到与其余方法可比的性能。

5.4 消融研究

  结构组件：实验表明，只使用RGB图像监督、不使用深度监督，会损害检测性能；仅使用深度监督、不使用图像监督，对性能有大幅提升。进一步加上SDF损失和RGB损失能达到最好的性能。
  位置感知的模块：将基于查询的位置感知模块替换为位置特征与图像特征的拼接；实验表明性能会有下降。

5.5 可视化

  可视化表明，与之前的基于深度的变换得到的3D表达相比，本文的方法能生成密集而连续的几何信息（特别是在远处）。

补充材料

A. 解释与讨论

A.1 基于深度的变换v.s.类NeRF

  使用CaDDN中基于深度的变换方法替换MonoNeRD中的类NeRF表达作为基准方案。实验表明MonoNeRD能超过基准方案的性能，证明了类NeRF表达的优越性。

A.2 关于泛化性

  跨不同场景的泛化性：NeRF将场景编码到MLP中，需要对每个场景单独优化。本文的MonoNeRD方法通过卷积引入如平移等价性的归纳偏好，从而使网络学到训练数据共有的底层特征和表达。
  训练和推断的泛化差异：使用更多的训练数据训练时，MonoNeRD比其余基于深度变换的方法性能提升更显著。
  跨数据集的泛化性：本文的方法严重依赖相机内参，因此不能实现不同数据集的泛化性。

A.3 局限性

  由于单目图像的视锥是无限范围的，因此从界外区域（如天空）整合图像特征会损害最终的检测性能。此外，SDF不能表示非水密流形和有界流形（如零厚度的表面）。MonoNeRD无法重建360度的场景，因其只有单目输入。最后，本文的方法不能处理有光泽的表面。

B. 额外定量结果

B.1 KITTI测试结果

  在行人类别上本文方法能达到SotA性能，在自行车类别上能达到有竞争力的性能（性能差异的原因是该类的训练样本较少）。

B.2 2D和3D监督的消融

  使用两种深度监督方式：（1）提供显式深度监督的激光雷达深度标签；（2）使模型通过图像的重建损失隐式地学习深度的立体RGB图像监督。实验表明两种监督均能为训练提供3D信息，但同时使用两者并不能进一步提升模型性能。这可能是两种监督通过体素渲染提供了不同类型的深度监督（显式和隐式），会给模型带来较大的学习负担。引入SDF损失后，性能能进一步提升，因其为模型提供了3D约束，这一约束甚至能促进模型从不同的深度监督类型进行学习。

B.3 深度平面采样的消融

  实验表明增大深度平面数$D$，性能先增加后保持稳定。这可能是因为沿深度轴的过度采样会导致相邻的视锥平面特征相似。

C. 额外定量结果

C.1 如果没有目标检测会怎样？

  本文发现，被遮挡区域的信息主要来自目标检测损失。可视化表明去掉目标检测损失会使被遮挡区域的重建不可控。但引入新视图监督后，该现象会被减轻。

C.3 渲染结果

  可视化表明同时使用激光雷达深度监督和立体RGB监督的深度图渲染结果比只使用激光雷达深度监督的更好，特别是对于不可获取激光雷达深度标签的区域（如天空）。