ORB-SLAM2：一个用于单目、双目、RGB-D的开源SLAM系统
摘要：我们提供ORB-SLAM2，一个用于单目、双目、RGB-D的完整SLAM系统，包括地图重用、回环检测、重定位。从室内的小型手持设备到工厂中的无人机和城市中的汽车等多样性的环境中，ORB-SLAM2都能够在标准CPU中实时运行。基于BA（束调整）的后端优化能够实现精度达到公制尺度的精确轨迹估计，用于单目和双目。系统包含一个轻量级的定位模型，该模式利用视觉里程计跟踪未建图区域，以及匹配地图点，能实现零漂移定位。29个公共数据集的测试显示，ORB-SLAM2能实现在大多数情况下更高SLAM精度。
引言
即时定位与地图构建（SLAM）技术建立未知环境的地图，并实时定位传感器在地图中的位置。在不同的传感器模型之间，相机是便宜的，并提供丰富的环境信息，这允许鲁棒和精确的进行位置识别。因而基于相机传感器的视觉SLAM是研究的主要内容。位置识别是SLAM系统执行闭环和跟踪失败后重定位的关键模块，由于遮挡或者突然移动或者系统重新初始化引起的跟踪失败。
使用单目相机的视觉SLAM是最便宜和最小的传感器。然而，由于深度信息无法获得，地图的尺度和被估计的轨迹未知。另外，由于系统无法从第一帧被三角化，系统执行需要多视角图像或者滤波技术产生初始化地图，如果相机执行旋转，单目SLAM存在尺度漂移，甚至可能失败。通过使用双目或者RGB-D相机，这些情况可得到改善。
- 第一个用于单目、双目和RGB-D相机的SLAM系统，包含回环检测、重定位和地图重用；
- RGB-D结果显示，通过BA（束调整），实现比当前最新的基于ICP或者光度和深度误差最小化的方法更高的精度。
- 通过使用闭环和远端双目点云和单目观察结果，我们的双目结果比最新的直接双目SLAM得到更高的精度。
- 一个轻量级的定位模式可以有效的重用残缺的地图。
相关工作
A Stereo SLAM双目SLAM
Paz提出了早期值得注意的SLAM系统。基于条件独立的分治EKF-SLAM系统能够运行于大规模环境中。最重要的是，其是第一个利用近处和远处匹配点的双目SLAM系统，（由于双目相机中细微的不一致导致不可信赖的估计点的深度），后来，同时使用反深度参数化。经验显示，如果匹配点的深度小于双目基线的40倍，可信赖的三角化匹配点。在这篇文章中，利用不同的方式处理近处和远处匹配点的策略，将在第 III-A 部分介绍。
大部分现代双目SLAM系统是基于关键帧，并在局部地图中执行BA优化实现可扩展。Strasdat的工作是将关键帧的内窗口中BA（点到位姿的约束）和外窗口中位姿图（位姿到位姿的约束）的联合优化。通过限制窗大小，以不保证全局一致性的代价，实现恒定的时间复杂度。Mei的RSLAM使用路标和位姿的相对表示，在活动区域执行相关BA，并且活动区域可以被约束为恒定时间。RSLAM能够完成闭环，其允许在回环两侧扩展活动区域，但是不强制全局一致性。最近，被Pire提出的S-PTAM执行局部BA，然而，其缺乏大的回环闭环。类似这些方法，在局部关键帧系列中执行BA，目的是其复杂度依赖于地图尺寸，因而我们可以在大场景中进行操作。然而，我们的目标是建立全局一致性地图。当闭合环路时，我们的系统首先对齐两边，类似于RSLAM，以便跟踪能够使用旧地图继续定位，然后执行姿势图优化，最小化环路中累积的漂移，然后是全局BA。
最近被Engel提出的双目LSD-SLAM是一种本稠密直接法，它能最大限度地减小高梯度图像区域的测光误差。该方法不依赖于特征，对运动模糊或纹理较差的环境具有较强的鲁棒性。然而，作为一种直接的方法，它的性能可能会由于诸如滚动快门或非朗伯反射等未建模的效应而严重下降。
B RGB-D SLAM
最早最著名的RGB-D SLAM系统是Newcombe的KinectFusion。该方法将传感器的所有深度数据融合到一个体积密度模型中，该模型使用ICP跟踪相机的姿态。由于该系统的体积表示法和回环闭环的不足，该系统仅限于较小的工作空间。通过使用滚动循环缓冲区，以及使用位置识别和位姿图优化的闭环，Kintinuous可能在大场景中使用。
第一个流行的开源系统可能是Endres提出的RGB-D SLAM系统。这是基于特征的系统，其前端通过特征匹配和ICP计算帧间移动。其后端采用启发式搜索的闭环约束进行位姿图优化。Kerl提出的DVO-SLAM的后端优化位姿图，其通过视觉里程计计算帧间约束，此视觉里程计最小化测光误差和深度误差。DVO-SLAM还在所有先前帧上以启发式方式搜索回环候选，而不是依赖于位置识别。Whelan的最新ElasticFusion建立一个基于表面图元的环境地图。这是一种以地图为中心的方法，它忘记姿势并执行闭环，对地图应用非刚性变换，而不是标准的姿势图优化。该系统的详细重建和定位精度令人印象深刻，但目前的实现仅限于房间大小的地图，因为复杂度与地图中的表面图元的数量成比例。
我们的ORB-SLAM2使用深度信息来合成用于图像上提取特征的立体坐标。我们的系统不知道输入的是双目还是RGB-D。与上述所有方法不同，此系统的后端是基于BA的，并构建全局一致的稀疏重建。因而，我们的方法是轻量级的，能够工作在标准CPU上。我们的目标一直以来是全局一致性定位，而不是建立最详细稠密的重建。然而，从高精度的关键帧姿态出发，可以融合深度图，在局部区域得到精确的动态重建，或者在完整的BA之后对所有关键帧的深度图进行后处理，得到整个场景的精确三维模型。
