【强化学习笔记】7.1 基于策略梯度的强化学习方法

之前学习的强化学习方法是值函数的方法，目标是求取最优策略（是状态空间到动作空间的一个映射），而之前的方法主要是针对有限动作空间的情况，对于连续动作空间，需要考虑使用策略梯度的强化学习方法。

策略梯度方法是指将策略参数化 $\pi _{\theta}(s)$,表示连续空间的策略，通过优化参数 $\theta$使得累积回报 $E \big[ \sum_{t=0}^{H} R(s_t) | \pi _{\theta}\big]$最大化。

和之前的值函数方法相比，策略梯度方法具有以下几个特点：
（1）参数简单，收敛性好，但容易陷入局部最小值
（2）可以解决连续动作空间问题
（3）可以集成随机策略，但评估单个策略时不充分，方差较大

策略梯度的推导（似然概率角度）

用 $\tau$表示一组状态行为轨迹 $s_0,u_0,...,s_H,u_H$,
定义该轨迹的回报为 $R(\tau)=\sum_{t=0}^{H} R(s_t, u_t)$
定义在某个策略参数下该轨迹出现的概率为 $P(\tau;\theta)$
那么强化学习的目标为： $U(\theta)=E \big[ \sum_{t=0}^{H} R(s_t) | \pi _{\theta}\big]=\sum_{\tau}P(\tau;\theta)R(\tau)$
使用梯度下降法求解 $\theta_{new}=\theta_{old} + \alpha \nabla_{\theta}U(\theta)$
其中$\nabla_{\theta}U(\theta)=\nabla_{\theta} \sum_{\tau}P(\tau;\theta)R(\tau) \ =\sum_{\tau}\nabla_{\theta}P(\tau;\theta)R(\tau) = \sum_{\tau}P(\tau;\theta)\nabla_{\theta}logP(\tau;\theta) R(\tau) $
即$ \nabla_{\theta}U(\theta) = E \big[\nabla_{\theta}logP(\tau;\theta) R(\tau) \big] \approx \frac{1}{m}\sum_{i=1}^{m}\nabla_{\theta}logP(\tau;\theta) R(\tau)$

策略梯度的推导（重要性采样角度）

强化学习的目标为： $U(\theta)=E \big[ \sum_{t=0}^{H} R(s_t) | \pi _{\theta}\big]=\sum_{\tau}P(\tau|\theta)R(\tau)$
使用参数 $\theta_{old}$产生的数据评估参数 $\theta$的期望汇报，可以根据重要性采样得到：
$U(\theta)=\sum_{\tau}P(\tau|\theta_{old}) \frac{P(\tau|\theta)}{P(\tau|\theta_{old})}R(\tau)=E_{\tau \sim \theta_{old} } \big[ \frac{P(\tau|\theta)}{P(\tau|\theta_{old})}R(\tau)\big]$
导数为：
$ \nabla_{\theta}U(\theta)=E_{\tau \sim \theta_{old} } \big[ \frac{\nabla_{\theta}P(\tau|\theta)}{P(\tau|\theta_{old})}R(\tau)\big]$
$ \nabla_{\theta}U(\theta)|{\theta{old}}=E_{\tau \sim \theta_{old} } \big[ \frac{\nabla_{\theta}P(\tau|\theta)|{\theta{old}}}{P(\tau|\theta_{old})}R(\tau)\big]=E_{\tau \sim \theta_{old} } \big[ log\nabla_{\theta}P(\tau|\theta)|{\theta{old}}R(\tau) \big]$

从重要性采样的角度推导出来的策略梯度与似然概率角度的结果相同，并且得到了原来目标函数新的损失函数：
$U(\theta)=E_{\tau \sim \theta_{old} } \big[ \frac{P(\tau|\theta)}{P(\tau|\theta_{old})}R(\tau)\big]$

策略梯度

在$ \nabla_{\theta}U(\theta) \approx \frac{1}{m}\sum_{i=1}^{m}\nabla_{\theta}logP(\tau;\theta) R(\tau) $中,$\nabla_{\theta}logP(\tau;\theta) $表示轨迹$\tau $的概率随着参数变化最陡的方向，$R(\tau)$控制参数的正负方向和步长，策略梯度就是迭代参数增加高回报路径的概率，减小低回报路径的概率。接下来需要考虑这两个式子的求解。

似然率梯度 $\nabla_{\theta}logP(\tau;\theta)$的求解

$\nabla_{\theta}logP(\tau^{(i)};\theta)=\nabla_{\theta}log \big[ \prod_{t=0}^{H}P(s_{t+1}^{(i)}|s_{t}^{(i)}, u_{t}^{(i)}) * \pi_{\theta}(u_{t}^{(i)}|s_{t}^{(i)})\big]$
$=\nabla_{\theta}\big[ \sum_{t=0}^{H}log\pi_{\theta}(u_{t}^{(i)}|s_{t}^{(i)})\big]=\sum_{t=0}^{H}\nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}^{(i)})$
上式似然率为状态动作函数的梯度。

也就是说$ \nabla_{\theta}U(\theta) \approx \frac{1}{m}\sum_{i=1}^{{m}\sum_{t=0}}{H}\nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}{(i)})R(\tau^{(i)})$

这个策略态度是无偏的，但是方差回比较大。可以通过修改回报函数的方法减小方差，如增加基线，即：
$ \nabla_{\theta}U(\theta) \approx \frac{1}{m}\sum_{i=1}^{{m}\sum_{t=0}}{H}\nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}{(i)})(R(\tau^{(i)} )- b)$
其中b可以通过最小方差的方法求得（证明略）
$b=\frac{\sum_{i=1}^{m} \big [ \big(\sum_{t=0}^{H}\nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}^{(i)})\big)^2 R(\tau^{(i)})\big]}{\sum_{i=1}^{m} \big [ \big(\sum_{t=0}^{H}\nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}^{(i)})\big)^2 \big)}$

随机策略

随机策略一般是确定性策略和随机部分的加和，即
$\pi_{\theta}=u_{\theta}+\epsilon,\epsilon \sim N(0, \sigma^2)$

• 线性策略
  $u_{\theta}(s)=\phi(s)^T\theta$
  因此 $\pi_{\theta}(s) \sim N(u_{\theta}(s), \sigma^2)$
  即 $\pi_{\theta}(s) \sim \frac{1}{\sqrt{2\pi}\sigma} exp\big(- \frac{(u-\phi(s)^T\theta)^2}{2\sigma^2}\big)$
  利用该分布采样，得到 $u_{t}^{(i)}$，然后可以得到
  $\nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}^{(i)})=\frac{ \big(u-\phi(s)^T\theta)\phi(s)^T\theta \big)}{\sigma^2}$
  其中可以看到方差参数 $\sigma$控制这策略的探索性。

还有其他策略，如径向基策略：
$u_{\theta}(s)=\phi(s)^T\omega$，其中 $\phi_i(s)=exp \big(-\frac{1}{2}(s-u_i)^Td_i(s-u_i) \big)$，参数 $\theta={\omega, u_i, d_i}$

整体策略梯度的求解

$ \nabla_{\theta}U(\theta) \approx \frac{1}{m}\sum_{i=1}^{{m}\sum_{t=0}}{H}\nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}{(i)})(R(\tau^{(i)} )- b)$
从上式可以看出每一个动作对应的梯度值都包含整个轨迹的回报，其实当前的动作与过去的回报是没有关系的（没有搞明白为啥），因此可以修改回报函数，有两种方法
第一种是：
$ \nabla_{\theta}U(\theta) \approx \frac{1}{m}\sum_{i=1}^{{m}\sum_{t=0}}{H} \big ( \sum_{j=0}^{{t}\nabla_{\theta}log\pi_{\theta}(u_{t}}{(i)}|s_{t}^{(i)})(r_j{(i)}- b_j) \big)$
第二种
$ \nabla_{\theta}U(\theta) \approx \frac{1}{m}\sum_{i=1}^{{m}\sum_{t=0}}{H} \nabla_{\theta}log\pi_{\theta}(u_{t}^{(i)}|s_{t}{(i)})\big ( \sum_{j=t}^{H-1}(r_j{(i)}- b_j) \big)$

参考书籍：

1. 深入浅出强化学习原理入门

---

欢迎关注微信公众号：AITBOOK