1、VSLAM的模块划分
主要有5个模块：
Sensor data process-----》Visual odometry----》backend（optimization）---》Mapping---》loop closure detection
当前研究状态是视觉SLAM在刚性静态环境中基本得到解决。但是面临运算速度慢，算法不够鲁棒等问题。
VO用于估计帧与帧之间的ego-motion；
Optimization用于handle global trajectory；
Loop closure用于correct相机的drift；
Map用于描述环境。
2、Visual Odometry视觉里程计
Feature-based 方法：
Step1：特征提取，当前有FAST corner，SIFT，SURF，ORB等
Step2：特征匹配，有Brute-force or KNN 特征匹配
Step3：估计ego-motion，可以使用PnP或者bundle Adjustment（BA）算法
比如经典的算法 MonoSLAM，PTAM, ORB-SLAM。
目前基于特征的方法是主流方式。
Direct Methods：
最小化两帧之间的灰度之差，这种方法的缺点是相机移动太快，光照变化明显，运算量太大。
该算法可以导出稠密的点云图。比如DTAM，RGBD-SLAM-V2等算法。这些算法一般是需要RGB-D的输入配置的。
还有一种是半稠密的方法，比如LSD-SLAM, DSO, SVO等算法。
视觉里程计之后得到了相机的运动信息和图像的三维信息，那么是否就完美了吗？其实不然，还有如下问题需要考虑：
相机漂移问题，camera drift during motion-----》解决方案是global optimization
环境中的其他部分的不连续问题-----》解决方案是：loop closure或者loop detection
相机在快速运动或者遮挡情况下容易跟丢的问题-----》解决方案：Re-locallization 重定位
3、后端优化 backend optimization
目前有两种主流算法，一种是基于滤波器的，准确的说是基于卡尔曼滤波器的，另一种是优化技术，比如bundle adjustment 或者叫束优化技术。
基于滤波的算法：经典算法是EKF。EKF是Extended Kalman Filter。该算法很难表现回环，而且线性化错误比较多。所以当前基本没有在研究了。
基于全局优化的算法：当前主流算法。比如graph-based slam优化或者叫做full-slam。优化图中的节点是优化变量，图中的边是error terms或者constraints。优化变量就是求解的东西，可以是相机的运动情况，也可以是空间点的位置。比如Pose-graph中，优化变量就是相机的pose。
优化的工具有：g2o, ceres, GTSAM etc…
4、Loop closure 回环
回环的目的就是为了recognize visited place，是为了解决在VO中的累积漂移问题。
Loop closure主要有两种方式：
一种基于Odometry的方法，即如果两个相机的position很靠近，那么可以认为是loop。这种算法假设计算出的相机位置是很准的。反过来看，如果计算的位置很准的话就不会出现相机漂移了，也就不需要回环了。
另一种是基于appearance的方法，即如果两个图形看上去很相似，那么可以认为相机已经重叠，回环确认。这个方法是主流方法。
在appearance-based方法中，关键问题是如何度量两个图像帧之间的相似性。当前的成熟的方法是词袋模型，也叫Bag of words。大致如下：
当然词袋算法不是最好的。如何确定两个图像是否一样，这个问题可以和最近流行的ML结合，比如Auto-encoders，CNN等，就是结合图像分类技术来判断两个图片是否一致。
5、Map
Map是SLAM的输出，其实没有一个具体的形式，主要取决于SLAM用于什么应用。
目前map主要是两类：一类是metric map，描述每个点是否可以走，另一类是topological map，需要描述空间中的几个地方是否可达，对于可达的目的之间具体如何走是不关心的。
Metric地图和拓扑地图之间的优缺点分析：
地图的一些应用有：
导航
重构
