借助SD地图的BEV静态感知

动机与出发点
纯视觉、视觉+Lidar的感知系统在复杂城市道路场景下并不能如预期那般表现稳定，其中遮挡就是一个巨大挑战。现在的BEV静态感知方案多采用多趟重建的方式获取，这就导致无论前方是否有车辆、建筑物、绿化带等，只要能投影到BEV空间的车道线都会参与到参数训练过程中，也就会导致模型输出结果对这些不置信区域也产生响应。自然可以通过给感知元素添加遮挡判别属性来帮助下游判别车道线的可信程度，这个方式要做好的话需要在感知环境中区分可行驶区域和非可行驶区域。还有一个方案是使用辅助信息，如SD地图，SD地图（standard definition map）是一种较为廉价和覆盖范围广的辅助信息，并且其也是相对置信的，则可以考虑将它与传感器感知算法结合，得到更加鲁棒的感知方案，因而这里对最近看到的几篇SD地图结合方案进行梳理。

对于SD地图如何在感知中使用，其实就是需要解决如下几个问题：

• 1）SD地图的坐标系如何与ego坐标系对齐
• 2）SD地图的信息如何编码并与传感器数据融合

1. PriorLane: A Prior Knowledge Enhanced Lane Detection Approach Based on Transformer
参考代码：PriorLane

这篇文章中将SD地图建模为二值图像，1代表可行驶区域，0代表不可行驶区域。SD地图通过文章提出的KEA模块实现与ego数据的对齐，再通过与传感器数据cat之后进行融合得到混合表达。

这篇文章fusion部分比较简单，就是cat之后使用多层网络融合。主要的工作是在前面的对齐部分，首先对场景构建二值图，也就是下面所示的一个大场景地图：

这里使用且分patch方式进行特征抽取，其实就是用一个kernel_size=stride_size的大卷积实现。核心在KEA模块的下面，使用一个对方向信息敏感的卷积处理地图数据，再通过一个定位网络输出地图需要的旋转角度和平移量，并完成网格采样以此实现特征对齐。

CULane测试集上的性能表现：

2. SMERF：Augmenting Lane Perception and Topology Understanding with Standard Definition Navigation Maps
SD地图数据来源：OpenStreetMap

这篇文章原本是挂了代码链接的但是失效了已经，本来NVIDIA的工作一般来讲都不给代码的，dddd。这个工作是在BEV空间去做SD地图和传感器数据的融合的。其大体流程如下图所示：

其主要的过程可以划分为如下两个步骤：

• 1）抽取SD地图中的地面元素，包含线条位置和属性，对于线条数据会通过均匀采样的方式得到$N$个数据点，若是经过sin-cos编码之后便是得到$N\cdot d$维度的线条描述，而属性则会通过one-hot编码得到维度为$K$的向量。则对于感知范围内的地面元素会得到$M\cdot (N\cdot d+K)$的编码数据，这些编码数据会经过几层transformer得到地图特征表达。
• 2）对于地图数据与传感器数据对齐和融合部分则是放到后面，通过Map Cross-Attn实现与原本BEV特征的交互实现。

OpenLane-V2数据集下相对base带来的涨点比较：

3. MapEX：Mind the map! Accounting for existing map information when estimating online HDMaps from sensor data
这篇文章是在query的维度引入SD地图，SD地图中地面元素的抽取和表达与SMERF近似，都是将点和类别组合起来得到query，由于网络都是固定query的数量，对于数量不足的情况下会在query池子中（下图中的“Classic queries”）选择对应数量的query实现数量统一。而SD地图与传感器数据的对齐和融合都通过transformer来隐式解决了，文章的具体流程结构见下图所示：

这个工作是在nuscenes上做的，再去获取对应SD地图是比较难的，文中使用删除元素、元素添加漂移量、添加噪声等方式去模拟真实SD地图中可能存在情况，效果呢见下图：

但是真实的SD地图跟文中提到的数据增广结果是存在偏差的，因而这个从标注结果模拟SD地图的方案大家就看一乐就好了。

稍微可以借鉴的是在预测结果与GT的匹配过程的改进，按照之前DETR类算法的思路使用匈牙利匹配去做匹配，但是由于在GT上做了扰动这个先验，那么可以对于那些扰动不是很大的（文中取的阈值是1m）可以之间建立这个query与GT的对应关系，这样可以使得网路收敛速度加快。但是这个思路需要结合SD地图给到的信息来综合考虑收益性，否则就比较鸡肋了。

文章的方法与之前一些在线建图方案进行比较：