学习机器人SLAM导航核心技术(一)

本章节,我们将学习基于SLAM导航的机器人技术。

 学习资料主要参照张虎的《机器人SLAM导航核心技术与实战》和高翔的《视觉SLAM十四讲》。
以机器人SLAM导航核心技术与实战作为学习的技术路线。在此基础上增加自己学习到的内容。

第1章:ROS入门必备知识
    1.1 ROS简介
        1.1.1 ROS的性能特色
        1.1.2 ROS的发行版本
        1.1.3 ROS的学习方法
    1.2 ROS开发环境的搭建
        1.2.1 ROS的安装(上机演示)
        1.2.2 ROS文件的组织方式
        1.2.4 集成开发工具
    1.3 ROS系统架构
        1.4 ROS调试工具
            1.4.1 命令行工具
                roscore、rosrun、roslaunch(上机演示)
                rosnode、rostopic、rosservice、rosparam、rosmsg、rossrv、rosbag(上机演示)
                catkin_init_workspace、catkin_create_pkg、catkin_make(上机演示)
                rospack、rosinstall、rosdep(上机演示)
            1.4.2 可视化工具
                rviz(上机演示)
                rqt(上机演示)
        1.3.1 从计算图视角理解ROS架构
        1.3.2 从文件系统视角理解ROS架构
        1.3.3 从开源社区视角理解ROS架构
    1.5 ROS节点通信
        1.5.1 话题通信方式(上机演示)
        1.5.2 服务通信方式(上机演示)
        1.5.3 动作通信方式(上机演示)
    1.6 ROS的其他重要概念
        parameter
        tf
        urdf
        launch
        plugin
        nodelet
    1.7 ROS2.0展望
第2章:C++编程范式
    2.1 C++工程的组织结构
        2.1.1 C++工程的一般组织结构
        2.1.2 C++工程在机器人中的组织结构
    2.2 C++代码的编译方法
        2.2.1 使用g++编译代码(上机演示)
        2.2.2 使用make编译代码(上机演示)
        2.2.3 使用CMake编译代码(上机演示)
    2.3 C++编程风格指南
第3章:OpenCV图像处理
    3.1 认识图像数据
        3.1.1 获取图像数据
            从图片文件获取(上机演示)
            从视频文件获取(上机演示)
            从相机设备获取(上机演示)
        3.1.2 访问图像数据
    3.2 图像滤波
        3.2.1 线性滤波
            均值滤波
            高斯滤波
        3.2.2 非线性滤波
            中值滤波
            双边滤波
        3.2.3 形态学滤波
    3.3 图像变换
        3.3.1 射影变换
            欧式变换(上机演示)
            相似变换(上机演示)
            仿射变换(上机演示)
            射影变换(上机演示)
        3.3.2 霍夫变换
        3.3.3 边缘检测
        3.3.4 直方图均衡
    3.4 图像特征点提取
        3.4.1 SIFT特征点(上机演示)
        3.4.2 SURF特征点(上机演示)
        3.4.3 ORB特征点(上机演示)
第4章:机器人传感器
    4.1 惯性测量单元
        4.1.1 工作原理
            测量方法
                加速度测量
                角速度测量
                地磁测量
            性能指标
            芯片选型
        4.1.2 原始数据采集
            硬件电路搭建
            固件驱动开发
            上位机ROS驱动程序(上机演示)
        4.1.3 参数标定(上机演示)
        4.1.4 数据滤波
        4.1.5 姿态融合
            卡尔曼滤波
                问题建模
                数学推导
                具体实现(上机演示)
            互补滤波
                Madgwick算法
                Mahony算法
    4.2 激光雷达
        4.2.1 工作原理
            测距原理
                三角测距
                TOF测距原理
            扫描原理
                单线激光雷达
                多线激光雷达
                其他激光雷达
        4.2.2 性能参数
        4.2.3 数据处理
            上位机ROS驱动程序(上机演示)
            扫描点处理
            扫描点的时间同步
                纯估计法
                里程计辅助法
    4.3 相机
        4.3.1 单目相机
            单目相机原理
            上位机ROS驱动程序(上机演示)
                ROS驱动功能包usb_cam
                ROS驱动功能包gscam
                自制基于OpenCV的驱动功能包
            单目相机标定(上机演示)
            单目图像传输
        4.3.2 双目相机
            双目相机原理
            上位机ROS驱动程序(上机演示)
            双目相机标定(上机演示)
            双目图像传输
        4.3.3 RGB-D相机
            结构光测量深度
            TOF测量深度
    4.4 带编码器的减速电机
        4.4.1 电机
        4.4.2 电机驱动电路
        4.4.3 电机控制主板
            上、下位机主板方案对比
            PID控制
            通信协议
        4.4.4 轮式里程计
第5章:机器人主机
    5.1 X86与ARM主机对比
    5.2 ARM主机树莓派3B+
        5.2.1 安装Ubuntu MATE 18.04(上机演示)
        5.2.2 安装ROS melodic(上机演示)
        5.2.3 装机软件与系统设置(上机演示)
            开机自动登录
            超级用户root密码创建
            扩展SWAP空间
            WiFi连接设置
            安装vim文本编辑器
            安装ssh远程登录工具
            USB外设绑定
            ROS节点开机自启动
    5.3 ARM主机RK3399
    5.4 ARM主机Jetson-tx2
    5.5 分布式架构主机
        5.5.1 ROS网络通信(上机演示)
        5.5.2 机器人程序的远程开发
            远程登录(上机演示)
            远程编辑文件(上机演示)
            远程文件系统挂载
            远程桌面
            远程数据可视化(上机演示)
                ROS网络通信
                rviz

第6章:机器人底盘
    6.1 底盘运动学模型
        6.1.1 两轮差速模型
            前向运动学
            逆向运动学
            轮式里程计
        6.1.2 四轮差速模型
            前向运动学
            逆向运动学
            轮式里程计
            估计跟踪问题
        6.1.3 阿克曼模型
            前向运动学
            逆向运动学
            轮式里程计
            估计跟踪问题
        6.1.4 全向模型
            前向运动学
            逆向运动学
            轮式里程计
        6.1.5 其他模型
    6.2 底盘性能指标
        6.2.1 载重能力
        6.2.2 动力性能
        6.2.3 控制精度
        6.2.4 里程计精度
    6.3 典型机器人底盘搭建
        6.3.1 底盘运动学模型选择
        6.3.2 传感器选择
        6.3.3 主机选择
第7章:SLAM中的数学基础
    7.1 SLAM发展简史
        7.1.1 数据关联、收敛和一致性
            数据关联
            收敛性
            一致性
        7.1.2 SLAM的基本理论
            滤波方法
            优化方法
    7.2 SLAM中的概率理论
        7.2.1 状态估计问题
        7.2.2 概率运动模型
            速度运动模型
            里程计运动模型
        7.2.3 概率观测模型
            波束模型
            似然域模型
        7.2.4 概率图模型
            概率论基础
            贝叶斯网络
            因子图
    7.3 估计理论
        7.3.1 估计量的性质
            一致性
            偏差性
        7.3.2 估计量的构建
            最大似然估计
            最小二乘估计
            贝叶斯估计
                最小均方误差估计
                最大后验估计
        7.3.3 各估计量对比
            从策略角度对比
            从模型角度对比
            等价转换关系
    7.4 基于贝叶斯网络的状态估计
        7.4.1 贝叶斯估计
        7.4.2 参数化实现
            卡尔曼滤波
                KF
                EKF
                UKF
            信息滤波
                IF
                EIF
        7.4.3 非参数化实现
            直方图滤波
            粒子滤波
    7.5 基于因子图的状态估计
        7.5.1 非线性最小二乘估计
        7.5.2 直接求解方法
        7.5.3 优化方法
            梯度下降算法
            最速下降算法
            高斯-牛顿算法(GN)
            列文伯格-马夸尔特算法(LM)
            狗腿算法(DogLeg)
        7.5.4 各优化方法对比
        7.5.5 常用优化工具
            图优化工具g2o(上机演示)
            非线性优化工具Ceres-Solver(上机演示)
            增量优化工具GTSAM
    7.6 典型SLAM算法
第8章:激光SLAM系统
    8.1 Gmapping算法
        8.1.1 原理分析
            RBPF的滤波过程
                采样
                重要性权重
                重采样
                地图估计
            RBPF的建议分布改进
            RBPF的重采样改进
            改进RBPF的滤波过程
        8.1.2 源码解读
        8.1.3 安装与运行(上机演示)
            Gmapping安装
            Gmapping在线运行
            Gmapping离线运行
    8.2 Cartographer算法
        8.2.1 原理分析
            局部建图
                扫描匹配
                地图结构
                局部优化
            闭环检测
            全局建图
        8.2.2 源码解读
            cartographer_ros功能包
            cartographer核心库
            Ceres-Solver非线性优化库
        8.2.3 安装与运行(上机演示)
            Cartographer安装
            Cartographer在实际机器人中运行
    8.3 LOAM算法
        8.3.1 原理分析
        8.3.2 源码解读
        8.3.3 安装与运行(上机演示)
第9章:视觉SLAM系统
    9.1 ORB-SLAM2算法
        9.1.1 原理分析
            特征点法
                特征提取
                特征匹配
                模型构建
            三维空间运动
                欧拉角、旋转矩阵、四元数
                转移矩阵
                李群、李代数
            多视图几何
                2D-2D模型
                    对极约束
                    本质矩阵E与基础矩阵F
                    单应矩阵H
                    三角化重建
                    BA优化
                3D-2D模型
                    DLT
                    P3P
                    EPnP
                    BA优化
                3D-3D模型
                    ICP
                    BA优化
            ORB-SLAM2系统框架
                地图结构
                地图初始化
                位置识别
                    构建视觉单词的离线字典
                    构建图像序列的在线数据库
                    应用词袋模型
                追踪线程
                局部建图线程
                闭环线程
        9.1.2 源码解读
            System类
            Map、MapPoint、Frame和KeyFrame类
            Initializer类
            KeyFrameDatabase类
            ORBextractor类和ORBmatcher类
            PnPsolver类
            Sim3Solver类
            Optimizer类
            Tracking、LocalMapping和LoopClosing类
        9.1.3 安装与运行(上机演示)
            ORB-SLAM2安装
            ORB-SLAM2离线运行
            ORB-SLAM2在线运行
        9.1.4 拓展
            ORB-SLAM3
    9.2 LSD-SLAM算法
        9.2.1 原理分析
            直接法
                重投影误差与光度误差对比分析
                特征点法与直接法优缺点分析
            LSD-SLAM系统框架
                地图结构
                追踪
                深度估计
                地图优化
        9.2.2 源码解读
        9.2.3 安装与运行
    9.3 SVO算法
        9.3.1 原理分析
            半直接法
            SVO系统框架
        9.3.2 源码解读
第10章:其他SLAM系统
    10.1 RTABMAP算法
        10.1.1 原理分析
            RTABMAP系统框架
            内存管理机制
            里程计节点
            局部地图
            闭环检测与图优化
            全局地图
        10.1.2 源码解读
            rtabmap_ros功能包
            rtabmap核心库
        10.1.3 安装与运行
            RTABMAP安装
            RTABMAP离线运行
            RTABMAP在线运行
    10.2 VINS算法
        10.2.1 原理分析
            标定
                IMU内参标定
                单目相机内参标定
                IMU与单目相机外参标定
                拓展
            数据融合
                松耦合
                紧耦合
                松耦合与紧耦合对比
            VINS系统框架
                观测预处理模块
                初始化模块
                VIO融合模块
                全局优化模块
        10.2.2 源码解读
        10.2.3 安装与运行(上机演示)
    10.3 机器学习与SLAM
        10.3.1 机器学习
            发展历程
                线性模型
                核模型
                神经网络模型
                概率图模型
                决策树
                组合模型
                基于训练样本的模型学习过程
            神经网络
                前向网络
                卷积网络
                循环网络
            深度学习
                计算机视觉
                自然语言处理
                人工智能+
            应用实践(上机演示)
        10.3.2 CNN-SLAM算法(上机演示)
        10.3.3 DeepVO算法(上机演示)

第11章 :主导航中的数学基础
    11.1 自主导航
    11.2 环境感知
        11.2.1 实时定位
            被动定位
            主动定位
        11.2.2 环境建模
            二维栅格地图
            三维栅格地图
        11.2.3 语义理解
    11.3 路径规划(上机演示)
        11.3.1 常见的路径规划算法
            基于图结构的路径搜索
                Dijkstra
                A*
                D*
            基于采样的路径搜索
                PRM
                RRT
        11.3.2 带约束的路径规划算法
            什么是约束
                完整约束与非完整约束
                硬约束与软约束
                定常约束与非定常约束
            几何约束
            微分约束
        11.3.3 覆盖的路径规划算法
    11.4 运动控制
        11.4.1 基于PID的运动控制
        11.4.2 基于MPC的运动控制
        11.4.3 基于强化学习的运动控制
    11.5 强化学习与自主导航
        11.5.1 强化学习
            马尔可夫决策过程
                马尔可夫性、马尔可夫过程和马尔可夫决策过程
                价值函数
                贝尔曼方程
                贝尔曼最优方程
                马尔可夫决策过程求解方法
            动态规划方法
                策略迭代
                价值迭代
                广义策略迭代
            采样方法
                蒙特卡洛
                时间差分
            价值函数逼近
            策略搜索
        11.5.2 基于强化学习的自主导航
            AutoRL
            PRM-RL
第12章:典型自主导航系统
    12.1 ros-navigation导航系统
        12.1.1 原理分析
            AMCL
            Costmap代价地图
            ros-navigation系统框架
                定位(上机演示)
                障碍度量(上机演示)
                路径规划(上机演示)
                恢复策略(上机演示)
        12.1.2 源码解读
            可选功能包
            必选功能包
            插件接口组件
            全局路径规划插件
            局部路径规划插件
            代价地图插件
            恢复策略插件
            其他
        12.1.3 安装与运行(上机演示)
            ros-navigation安装
            ros-navigation在实际机器人中运行
                机器人平台相关节点的配置与启动
                    运动控制与轮式里程计节点
                    传感器节点
                    传感器静态tf节点
                地图供应节点的配置与启动
                全局定位节点的配置与启动
                导航核心节点的配置与启动
                    顶层壳体move_base的配置
                    代价地图的配置
                    路径规划插件的配置
        12.1.4 路径规划改进
            基于图搜索的全局路径规划插件SBPL_Lattice_Planner
                SBPL_Lattice_Planner与SBPL的安装
                在move_base中加载SBPL_Lattice_Planner插件
            基于采样的全局路径规划插件srl_global_planner
            基于弹性带的局部路径规划插件teb_local_planner
        12.1.5 环境探索
            frontier_exploration
            rrt_exploration
    12.2 riskrrt导航系统
    12.3 autoware导航系统
    12.4 导航系统面临的一些挑战
第13章:机器人SLAM导航综合实战
    13.1 运行机器人上的传感器
        13.1.1 运行底盘的ROS驱动(上机演示)
        13.1.2 运行激光雷达的ROS驱动
        13.1.3 运行IMU的ROS驱动
        13.1.4 运行相机的ROS驱动
        13.1.5 运行底盘的urdf模型 
        13.1.6 传感器一键启动
    13.2 运行SLAM建图功能
        13.2.1 运行激光SLAM建图功能
        13.2.2 运行视觉SLAM建图功能
        13.2.3 运行激光与视觉联合建图功能
    13.3 运行自主导航
    13.4 基于自主导航的应用

以上是《机器人SLAM导航核心技术与实战》学习线路,我将以此为基础,自学一系列相关内容,并且分享给大家。

猜你喜欢

转载自blog.csdn.net/qq_38915354/article/details/130125279