IROS2022 | 雪天环境的激光点云处理

原文：LiSnowNet: Real-time Snow Removal for LiDAR Point Cloud

作者：Ming-Yuan Yu , Ram Vasudevan , and Matthew Johnson-Roberson

会议：IROS2022

激光雷达是一种主动传感器，其发射的脉冲光波后利用返回的脉冲计算其与周围物体之间的距离。这种特性，使得激光雷达无论在白天还是夜间，都可以对周围的场景进行详细的3D测量。在现在很多的数据集中，都可以很容易地找到此类测量值，如逐帧点云，这些数据通常以10Hz的频率进行采样，并已用于3D对象检测、语义分割和建图。

尽管与毫米波雷达相比，激光雷达提供了更精确的3D测量，但在恶劣的天气条件下，测量结果很容易退化。与可以透过雾、雪花和雨滴的毫米波雷达不同，激光雷达受到空气中粒子的极大影响。特别是在降雪期间，脉冲信号撞击雪花并得到重影的测量返回传感器，如图1a和1b所示。对于地图构建等应用来说，移除这些测量值、揭示场景的基本几何结构至关重要。

这篇文章提出一种雪天环境的激光雷达点云实时处理网络，在去噪方面得到了性能提升，速度也比当前的SOTA算法提升了52倍。

01 方法

1.1 预处理

第一步，将点云转换为距离图像。给定数据集中第k个点云中的点 $p=[x\ \ y\ \ z]^T \in \mathbb{R}^3$ ，其对应的强度值 i∈[0,1] ，我们可以得到下面的值。

d 是点到激光雷达中心的距离， ϕ 是倾角， ψ 是方位角。

通过离散激光雷达视场（FOV）内的倾角和方位角，我们可以将点云内的每个点投影到球面坐标上，可以得到距离图像 $I_k \in \mathbb {R}_{+}^{h\times w \times 2}$ ，其中， $k \in \mathbb{Z}$ 是索引帧， $h$ 是垂直分辨率， $w$ 是水平分辨率。

第二步，是将距离图像压缩到适当的比例。如图1所示，一个很关键的问题是重影测量主要集中在25米的距离内，但激光雷达的最大距离很容易超过150米。

我们需要增强车辆周围的点的重要性，并且同时维持点的顺序，因为雪花的强度值几乎都是0，而场景中通常都是具有正的强度值，所以可以提升噪声与场景之间的对比度。

最后，要明确，不是每个像素都有对应的值，因为有些方向的点事缺少的，比如天空和一些透明的点。

1.2 网络结构

本文的网络结构是在参考文献[12]的MWCNN基础上对部分关键点进行了修改。

首先，使用残差模块替换所有具有两个环卷积层的卷积层；然后在每个残差模块的第一个ReLU激活函数之后放置一个dropout层，使网络规范化。

最后，大幅度减少channel数。最终，设计的网络可以生成对应的残差图 $\Delta _{k}:=f_{\theta }(\widetilde{I}_k)$ ，可以满足

1.3 损失函数

设 $\mathcal{F}:\mathbb{R}^{h \times w \times 2} \rightarrow \mathbb{R}^{h \times w \times 2}$ 为FFT的真值， $\mathcal{W}:\mathbb{R}^{h \times w \times 2} \rightarrow \mathbb{R}^{h \times w \times 2}$ 是基于Haar的DWT。然后可以设计三个新的损失函数：

总损失函数为

02 结果

如表所示，相对于基准而言，本文所提出的网络，在去噪方面可以有同样甚至更好的性能；在召回率比DSOR低0.0310时，准确率和IoU明显高于其他所有的方法。速度比DSOR方法提升了52倍，比DROR方法提升了158倍。考虑到激光雷达的采样频率一般是10Hz，那这种方法应该是能够满足实时工作的最佳方案。

03 结论

这篇文章提出了一种专门用于恶劣天气条件下点云去噪的深度卷积神经网络-LiSnowNet。这种网络可以在没有任何标记数据的情况下进行训练，与最先进的方法相比，可以在7ms内处理10万个点，在降噪方面效果很好。可以提高下游任务的质量，例如雪天的地图构建。

推荐：

1. 下载 | 101篇NeRF优质论文推荐（含项目代码）

2. NeRF是如何快速搭建三维场景的？

3. 基于NeRF的三维场景重建和理解