【论文阅读】Parametrized Deep Q-Networks Learning: RL with Discrete-Continuous Hybrid Action Space

【论文阅读—深度强化学习打王者荣耀】Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space

标题 Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space

论文地址

https://arxiv.org/abs/1810.06394v1

离散连续空间相关实现代码

https://github.com/cycraig/MP-DQN

关键点 离散连续空间

腾讯的 AI Lab 在这篇文章中提出了P-DQN算法, 文章关注 Real Time Strategic (RTS) games 中的应用 (discrete-continuous hybrid action space) 中的问题，并且在旗下的王者荣耀游戏中进行实验测试。

摘要

目前大多数深度强化学习算法要求 action space 要么是离散的 (e.g., Go and Atari) ，要么是连续的 (e.g. MuJoCo and Torcs), 为解决 Real Time Strategic (RTS) games 中的应用问题，文章提出了一种可以解决离散连续混合空间中问题的P-DQN算法。

算法首先从一个 discrete set $[K]$ 中选取一个上层的离散action, 再选择一个连续的下层 parameter $x_k\in {\mathcal{X}}_k$, 这个 parameter 和先前选择的离散动作相关。这里 ${\mathcal{X}}_k$是一个包含所有 $k\in [K]$ 对应的离散集合。
定义动作空间如下：

A = { ( k , x k ) ∣ x k ∈ X k   f o r   a l l   k ∈ [ K ] }      ( 1.1 ) \mathcal{A} = \{(k, x _k) |x_k\in \mathcal{X_k} \ \rm{for \ all\ } \mathcal{k} \in [K] \} \ \ \ \ (1.1) A={ (k,xk​)∣xk​∈Xk​ for all k∈[K]}    (1.1)

该文章的方法可以看成将DQN拓展到混合空间，首先定义了一个 deterministic function ,用于将state和每一个discrete action映射到continuous parameter ;文章还定义了一个action-value function,用于将state和有限的混合动作映射到真实的values

值得注意的是，下层的 continuous parameter 是可选的，不同的离散 action 之间可以拥有相同的continuous parameter

Parametrized Deep Q-Networks (P-DQN)

考虑一个拥有(1.1)中 action space $\mathcal{A}$ 的MDP，对于$a\in \mathcal{A}$，有 $Q(s,a)=Q(s,k,x_k)$。定义在 $t$ 时刻选择的离散动作为 $k_t$，关联的 continuous parameter 为$x_{k_t}$，现在Bellman equation 变成:
$$Q(s_t,k,x_k)=\underset{r_t,s_{t+1}}{E}[r_t+\gamma \underset{k\in [K]}{\max }\underset{x_k\in {\mathcal{X}}_k}{\sup }Q(s_{t+1},k,x_k)|s_t=s,a_t=(k_t,x_{k_t})](3.1)$$ 对于等式右边，对每$k\in [K]$先计算 $x_k^{\ast }={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{s}\mathrm{u}\mathrm{p}}_{{\mathrm{x}}_{\mathrm{k}}\in {\mathcal{X}}_k}Q(s_{t+1},k,x_k)$，接着选择最大的$Q(s_{t+1,k,x_k^{\ast }})$

值得注意的是，当function $Q$ 固定，对于任何$s\in S$以及$k\in [K]$，可以将$\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{s}\mathrm{u}{\mathrm{p}}_{x_k\in {\mathcal{X}}_k}Q(s,k,x_k)$视作函数$x_k^Q:S\to {\mathcal{X}}_k$，则(3.1)中的Bellman equation可以改成

$$Q(s_t,k,x_k)=\underset{r_t,s_{t+1}}{E}[r_t+\gamma \underset{k\in [K]}{\max }Q(s_{t+1},k,x_k^Q(s_{t+1}))|s_t=s]$$

和DQN的思想一样，用深度神经网络$Q(s,k,x_k;w)$ 近似 $Q(s,k,x_k)$用一个 deterministic policy network $x_k(.;\theta ):S\to {\mathcal{X}}_k$来近似$x_k^Q$。当$w$固定的时候，我们希望找到一组$\theta$满足:
$$Q(s,k,x_k(s;\theta );w)\approx \underset{x_k\in {\mathcal{X}}_k}{\sup }Q(s,k,x_k;w)\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{c}\mathrm{h}k\in [\mathrm{K}](3.2)$$

设$w_t,{\theta }_t$为t时刻的value network和deterministic policy network的参数，对于固定的$n\ge 1$，定义n-step目标$y_t$为:
$$y_t=\sum _{i=0}^{n-1}{\gamma }^i{r}_{t+i}+{\gamma }^n\underset{k\in [K]}{\max }Q(s_{t+n},k,x_k(s_{t+n},{\theta }_t);w_t)(3.3)$$
定义两个loss function：
$$l_t^{\mathcal{Q}}(w)=\frac{1}{2}[\mathcal{Q}(s_t,k_t,x_{k_t};w)-y_t{]}^2\mathrm{a}\mathrm{n}\mathrm{d}{l}_t^{\Theta }(\theta )=-\sum _{k=1}^{\mathrm{K}}Q(s_t,k,x_k(s_t;\theta );w_t)(3.4)$$
文章用stochastic gradient methods更新weights。当$w$固定时，为最小化(3.4)中的$l_t^{\Theta }(\theta )$，理想情况下可以通过一个符合two-timescale update rule的方式来完成。具体来说，更新$w$的时候用到的stepsize ${\alpha }_t$和更新$\theta$的stepsize ${\beta }_t$比较微不足道(asymptotically negligible)。同时需要${\alpha }_t,{\beta }_t$满足Robbins-Monro
condition

具体算法如下:

需要注意的是，在探索过程中算法需要一个定义在$\mathcal{A}$上的分布$\xi$，实践中可以为$\mathcal{A}$上的均匀分布。

The Asynchronous n-step P-DQN Algorithm

为了加速训练过程，仿照 n-step DQN 文章提出了asynchronous n-step P-DQN。考虑一个每一个process计算自己的local gradient并和全局 “parameter server” 交互的 centralized distributed training framework：每一个process运行一个独立的环境产生转移轨迹并用自己的转移来计算$w$和$\theta$的梯度，这些梯度后续被一起用于计算全局的parameters。

具体算法如下:

实验

文章一共采用了三个实验场景，分别是:1) a simulation example, 2) scoring a goal in
simulated RoboCup soccer, 3) the solo mode in game KOG。

前面两个实验的详细设定和结果可以可以通过阅读论文了解，下面介绍第三个实验:

Solo mode of King of Glory

在实验中，game的state用以179维的特征向量表示，数据由game engin直接生成。这些特征包含两个部分(basic attributes of the units and the relative positions of other units with respect to the hero controlled by the player as well as the attacking relations between units)

实验将英雄的action简化成$K=6$的离散动作:$Move,Attack,UseSkill1,UseSkill2,UseSkill3,Retreat$。 一些action可能拥有额外continuous parameters来使行为更加精准。例如$k=Move$,方向由$x_k=\alpha$定义，$\alpha \in [0,2\pi ]$。值得注意的是，每一个英雄的技能是独一无二的，完整的动作列以及关联的parameters如下:

由于$MagicPoint$和$CoolDown$的相关限制，实际操作中$ma{x}_{k\in [K]}$被替换成$ma{x}_{k\in [K]andkisusable}$,多步目标由前文的(3.3)计算

Reward for KoG

相关描述如下:

整体reward公式如下:

公式中系数只是大概的设定了一下，文章中的实验在一定范围内对这些数据并不是特别敏感。

文章采取了Algorithm 2 (with 48 parallel workers)，network $x(\theta )\mu (\theta )$ are both in the size of 256-128-64 nodes in each hidden layer, $Q(w)$is in size of 256-128-64-64 为了缩短episode length,采用了跳帧(frame skipping)技术并设置frame skipping parameter为2。

更进一步，对Algorithm 2中的参数，有:$t_{max}=20$；训练用到$ϵ-greedy(ϵ=0.255)$来采样，具体为前五个动作概率为0.005而$Retreat$概率为0.0005；如果采样得到的动作是不可行的，就在可行的动作中用贪心方法选择。learning rate设置为0.001

文章中算法与DDPG对比结果如下: