【论文笔记】基于分层深度强化学习的移动机器人导航方法

摘要

• 针对：基于深度强化学习 (deep reinforcement learning, DRL) 的分层导航方法在包含长廊、死角等结构的复杂环境下导航效果不佳的问题
• 提出：基于 option-based 分层深度强化学习 (hierarchical deep
  reinforcement learning, HDRL) 的移动机器人导航方法

具体内容：

1. 低层的避障和目标驱动控制模型分别实现避障和目标接近两种行为策略；
2. 高层的行为选择模型可自动学习稳定、可靠的行为选择策略；
3. 通过训练，学习到的避障策略更加适用于复杂环境下的导航任务；

关键词

4. 深度强化学习；
5. 分层深度强化学习；
6. 移动机器人；
7. 导航；
8. 避障；
9. 策略学习

0 引言

传统的移动机器人导航方法：

1. 需要高精度传感器构建环境地图；
2. 依赖专家经验人为设计规则；
3. 不足之处——在复杂环境较难导航；

现有 DRL 导航方法的研究：

1. 将导航任务视为避障与目标接近两个子任务的结合；
2. 分别设计奖励函数, 引导移动机器人在避开障碍的同时接近目标点，但是设计奖励函数需要较多的先验知识；
3. 在长廊、死角处容易出现局部最小；

基于 DRL 的分层导航方法：

学者	工作	效果	引用
Zhang 等	基于动作优势加权的策略融合方法	避障和目标接近两种低层行为策略均通过独立训练 DRL 获得，通过人为设计的规则对低层策略的动作优势值进行加权, 得到用于导航的控制动作.	Zhang W, Zhang Y, Liu N. Danger-aware adaptive composition of DRL agents for self-navigation[J]. Unmanned Systems, 2020, 9(1): 1-9.
Ding 等	用于多机器人导航任务的分层控制方法	利用 DRL 和简单规则分别得到避障策略和目标接近策略, 并对相应的控制动作进行加权输出；能够降低策略学习的难度，但是其高层策略始终依赖人为设计的调控规则。	Ding W, Li S, Qian H, et al. Hierarchical reinforcement learning framework towards multi-agent navigation[C]. In: Proceedings of the IEEE International Conference on Robotics and Biomimetics. Kuala Lumpur: IEEE, 2018: 237-242.

分层深度强化学习：

类型	subgoal-based	option-based
特点	高层策略负责生成子目标, 再由低层策略输出控制动作进行实现	高层策略负责在多个低层策略中进行选择, 再由被选择的低层策略输出控制动作
例子	用于实现移动机械臂复杂控制的 HDRL 方法	实现六足机器人移动控制
主要内容	高层策略用于输出移动底盘或机械臂的子目标姿态, 而低层策略负责控制移动机械臂到达相应的子目标姿态, 使其实现移动或开门操作	低层策略负责控制机器人关节完成前进、转向等基础运动；高层策略负责规划低层策略的执行顺序, 从而引导机器人到达目标位置.
期刊引用	Li C, Xia F, Martín-Martín R, et al. Hrl4in: hierarchical reinforcement learning for interactive navigation with mobile manipulators[C]. In: Proceedings of the Conference on Robot Learning. Virtual Event: PMLR, 2020: 603-616.	Li T, Lambert N, Calandra R, et al. Learning generalizable locomotion skills with hierarchical reinforcement learning[C]. In: Proceedings of the IEEE International Conference on Robotics and Automation. Paris: IEEE, 2020: 413-419.
缺点	依赖先验知识设计具有任务特异性的子目标空间	仅考虑在无障碍物的简单环境中对机器人进行移动控制

本文主要工作叙述：

1. 采用基于 option-based HDRL 的模型框架
2. 通过设计基于规则的目标驱动控制模型和基于 DRL 的避障控制模型, 分别实现目标接近与避障两种低层行为策略
3. 利用基于 DRL 的行为选择模型学习稳定、可靠的高层行为选择策略, 有
   效避免了对人为设计调控规则的依赖
4. 在训练避障控制模型的同时训练行为选择模型, 并将接近行为的经验数据也存入避障控制模型的经验池

1 基于分层深度强化学习的导航方法

高层的行为选择模型采用全连接神经网络；
低层的避障控制模型也采用类似的全连接神经网络, 负责学习避障策略；
低层的目标驱动控制模型则采用基于规则的控制器, 负责实现目标接近策略.

1.1 模型框架

1.1.1 避障控制模型

采用竞争双深度 Q 网络 (dueling double deep Q-network,D3QN)实现避障控制模型

刘建伟, 高峰, 罗雄麟. 基于值函数和策略梯度的深度强化学习综述 [J]. 计算机学报, 2019, 42(6): 1406-1438.

• 状态：连续三帧的 2D 激光雷达扫描数据。
  每一帧数据为长度为 40 的一维数组；
  每个数组元素对应于单束激光的距离测量值；
  按采集时间顺序进行拼接, 构成输入状态$s_t^{l[23]}$
• 动作：7 种离散动作$a_l(0),...,a_l(6)$。
  每一种动作 $a_l(i)$ 都对应于一对预设的线速度和角速度 $(v_i,{\omega }_i)$.
• 网络结构：全连接层对输入状态编码；输入两条支路分别得到状态价值 (state-value)$V(s_t^l)$ 和动作优势值 (action-advantage)$A(s_t^l,a_t^l)$；两值相加得到每一种动作的动作价值 (action-value)$Q(s_t^l,a_t^l)$；
  状态价值：表征当前状态能够带来的长期收益；
  动作优势值：用于衡量不同动作之间的相对优劣；
  动作价值：用于表征当前动作能够带来的长期收益, 其中动作价值最大的动作将作为避障控制模型的输出
  更新公式如下：

$$\begin{gathered} Q(s_t,a_t;\theta )=Q(s_t,a_t;\theta )+\alpha (y_t-Q(s_t,a_t;\theta )) \\ {y}_t=r_t+\gamma \hat{Q}(s_{t+1},\underset{a\in A_l}{\mathrm{argmax}}Q(s_{t+1},a;\theta );{\theta }^{-}) \end{gathered}$$

奖励函数设置如下：
$$\begin{gathered} r_t^l=v_t+(r^c{)}_t \\ (r^c{)}_t=\{\begin{array}{ll}{r}_{collision}& D_t<R_{robot}\\ -\frac{{\lambda }^c}{D_t}& D_t\ge R_{robot}\end{array} \end{gathered}$$

$D_t\to$ 移动机器人当前时刻与障碍之间的最小距离；
$R_{robot}\to$ 移动机器人底盘半径；
$r_{collision}\to$ 预定义参数；

1.1.2 目标驱动控制模型

1. 控制器首先获取目标点的实时坐标 $[x_t,y_t]$
2. 计算移动机器人前进方向与目标方向之间的偏转角度 ${\varphi }_t$
   $${\varphi }_t=\{\begin{array}{ll}\mathbf{arctan}(\frac{y_t}{x_t})& x_t>0\\ \mathbf{arctan}(\frac{y_t}{x_t})+(\frac{y_t}{|y_t|})\pi & x_t<0\end{array}$$
3. 根据图片将偏转角度 ${\varphi }_t$ 映射到相应的动作。在某个范围内选择某套参数进行运动。

1.1.3 行为选择模型

项目	内容
状态	激光雷达扫描数据外 + 目标点的相对坐标 + 移动机器人的线速度与角速度
动作	2 种离散动作，分别对应于避障和目标接近两种行为，动作价值较大的动作用于激活相应的行为策略
模型	D3QN

行为选择模型的决策间隔在选择目标接近行为时设为 1 个时间步 (time step), 而在选择避障行为时设为 $n$($n$ >1) 个时间步, 从而有利于缩短决策链长度, 降低策略学习的难度。

$$y_t=\sum _{\tau =0}^{k-1}{\gamma }^{\tau }{r}_{t+\tau }^h+{\gamma }^k\hat{Q}(s_{t+k}^h,\underset{a\in A_h}{\mathrm{argmax}}Q(s_{t+k}^h,a;\theta );{\theta }^{-})$$

$s_{t+k}^h$ 和 $a_{t+k}^h\to$ 下一次决策时的输入状态和输出动作；
$r_{t+T}^h\to$为时刻$t+T$的即时奖励；

奖励函数设置如下：

$$\begin{gathered} r_t^h=(r^d{)}_t+(r^o{)}_t+(r^s{)}_t \\ (r^d{)}_t={\lambda }^t(d_{t-1}-d_t) \\ (r^o{)}_t=\{\begin{array}{ll}{\lambda }^o(D_t-D^o),& D_t\le D_{thres}\\ r_{obstacle},& D_t>D_{thres}\end{array} \\ (r^s{)}_t=\{\begin{array}{l}20,到达目标点；\\ -20,发生碰撞则受到惩罚；\end{array} \end{gathered}$$

1.2 模型训练

传统避障方法：

1. 首先使移动机器人与环境交互；
2. 产生避障行为经验数据并存入避障控制模型经验池；
3. 仅利用避障行为经验数据更新避障策略；

通过该训练方法学习到的避障策略虽然能够使机器人成功躲避障碍, 但易出现局部极小问题

算法1~参数更新：

1. 机器人按照算法 2 执行一次动作;
2. 利用 $E_1$ 中的历史数据, 更新避障控制模型, 利用 $E_2$中的历史数据, 更新行为选择模型;
3. 迭代 step1 到 step2, 总共 $T_1$ 次;
4. 机器人按照算法 2 执行一次动作;
5. 利用 $E_2$中历史数据, 更新行为选择模型;
6. 迭代 step4 到 step5, 总共 $T_2-T_1$ 次;

算法2~环境交互

1. 根据行为选择模型的输出选择行为;
2. 如果选择目标接近行为, 根据目标驱动控制模型的输出执行 1 次动作, 产生的目标接近经验数据存入 $E_1$. 反之则根据避障控制模型的输出执行 $n$ 次动作, 产生的避障经验数据存入 $E_1$;
3. 产生的行为选择经验数据存入 $E_2$;
4. 迭代 step1 到 step3, 直到回合终止;

2 实验分析

2.1 实验设置

2.2 实验结果与分析

2.2.1 训练与测试实验结果

对比模型：

模型	内容
D3QN 方法	使用 D3QN 直接学习导航策略
DAAC(danger-aware adaptive composition) 方法	基于动作优势加权的分层导航方法
HDRL 方法	本文提出的 option-based HDRL 模型框架, 但在训练过程中不利用接近行为的经验数据对避障策略进行优化.

1. D3QN 方法和 DAAC 方法的训练曲线增长缓慢, 表明移动机器人在复杂环境下学习导航策略的难度较大.
2. HDRL 方法和本文方法的训练曲线在整个训练阶段稳定增长.

• 碰撞率表示发生碰撞回合数占总测试回合数的比例；
• 超时率表示超时回合数占总测试回合数的比例；
• 步数表示在成功回合中机器人移动的步数；

1. D3QN 方法在测试环境 2-4 中的超时率显著高于其它方法, 表明非分层导航方法在复杂环境下容易产生局部极小问题.
2. DAAC 方法依赖人为设计的调控规则难以得到较优的导航策略, 因此在测试环境 2-4 中的碰撞率显著高于其它方法.
   
   
   本文方法在两种死角结构中均取得了最高的导航成功率。

2.2.2 可视化导航效果

D3QN 方法进行导航时出现局部极小问题，导致移动机器人无法走出凹形区域；

2.2.3 真实环境下的导航实验

3 结论