本文我们来简单介绍下一种强化学习方法——TRPO （Trust Region Policy Optimization），中文名称是“置信域策略优化”。该方法由伯克利博士生 John Schulman 提出。TRPO 是策略搜索方法中的一类随机策略搜索方法，它正面解决了梯度更新步长选择的问题，给出了一种单调的策略改善方法。

本文仅简要论述其原理，更多细节请参考：

Schulman J., Optimizing Expectations: From Deep Reinforcement Learning to Stochastic Computation Graphs. PhD thesis, University of California, Berkeley, 2016.

数学基础
- 信息论基础
- 优化基础
TRPO

数学基础

首先给出一些数学基础，对于统计、优化功底较强的读者可直接跳过。

信息论基础

信息熵：对于离散的系统

H (X) = - \sum_{i} p_{i} \log p_{i}

$H(X)=-\sum_{i}p_{i}\log p_{i}$ 对于连续的系统

H (x) = E_{x \sim P} [I (x)] = - E_{x \sim P} [\log P (x)]

$H(x)=E_{x\sim P}[I(x)]=-E_{x\sim P}[\log P(x)]$ 信息熵反映了信息量的多少，信息熵越大说明信息量越多。随机事件的信息量与随机变量的确定性有关，不确定性越大包含的信息量就越大。

交叉熵：令不完美的编码用 $Q$ 表示，平均编码长度为

H (P, Q) = - E_{P (x)} Q (x) = - \int P (x) \log Q (x) d x

$H(P,Q)=-E_{P(x)}Q(x)=-\int P(x)\log Q(x)dx$ 交叉熵用来衡量编码方案不一定完美时，平均编码的长度。交叉熵常被用作损失函数。原因是真实的样本部分是

P

$P$ ，而模型概率分布为

Q

$Q$ ，只有模型分布于真实样本分布相等时，交叉熵最小。

KL散度：

D_{K L} (P ‖ Q) = E_{x \sim P} [\log \frac{P (x)}{Q (x)}] = \int P (x) \log P (x) d x - \int P (x) \log Q (x) d x

$D_{KL}(P\|Q)=E_{x\sim P}\left[ \log\frac{P(x)}{Q(x)} \right]=\int P(x)\log P(x)dx-\int P(x)\log Q(x)dx$ KL 散度用来衡量两个概率分布之间的相似程度，其重要性质是 非负性 1，而且，当且仅当两个概率分布处处相等时，KL散度取到零。KL散度与一般的距离不同，它一般不具有对称性。

H (P, Q) = D_{K L} (P ‖ Q) + H (P)

$H(P,Q)=D_{KL}(P\| Q)+H(P)$ 上述关系很容易推导，此处从略，可以看出样本的真实分布

P

$P$ 保持不变，最优化交叉熵等价于最优化 KL 散度。KL散度还可用于异常检测。

优化基础

TRPO 最终将转化为优化问题。时间有限，这里不展开介绍，具体细节参考以下两篇文章即可：

TRPO

优势函数

TRPO的关键作用在于找到合适的步长。合适的步长是指当策略更新后，回报函数的值不能更差。令 $\tau$ 表示一组状态-行为序列 $s_{0},u_{0},\dots,s_{H},u_{H}$ ，则回报函数为

η (\tilde{π}) = E_{τ | \tilde{π}} [\sum_{t = 0}^{\infty} γ^{t} r (s_{t})]

$\eta(\tilde{\pi})=E_{\tau|\tilde{\pi}}\left[ \sum_{t=0}^{\infty}\gamma^{t}r(s_{t}) \right]$ 其中

\tilde{π}

$\tilde{\pi}$ 表示新策略。我们令

π

$\pi$ 表示旧策略，那么拆分回报函数：

η (\tilde{π}) = η (π) + E_{s_{0}, a_{0}, \dots \sim \tilde{π}} [\sum_{t = 0}^{\infty} γ^{t} A_{π} (s_{t}, a_{t})]

$\eta(\tilde{\pi})=\eta(\pi)+E_{s_{0},a_{0},\dots\sim\tilde{\pi}}\left[ \sum_{t=0}^{\infty}\gamma^{t}A_{\pi}(s_{t},a_{t}) \right]$ 其中 2

A_{π} (s, a) = Q_{π} (s, a) - V_{π} (s) = E_{s^{'} \sim P (s^{'} | s, a)} [r (s) + γ V_{π} (s^{'}) - V_{π} (s)]

$A_{\pi}(s,a)=Q_{\pi}(s,a)-V_{\pi}(s)=E_{s'\sim P(s'|s,a)}\left[ r(s)+\gamma V_{\pi}(s')-V_{\pi}(s) \right]$ 可以看出，价值函数

V_{π} (s)

$V_{\pi}(s)$ 是该状态下所有动作致函数关于动作概率的平均值；而动作值函数

Q_{π}

$Q_{\pi}$ 是单个动作对应的值函数。因此，优势指的是动作函数相比于当前状态的值函数的优势。如果优势大于零，则说明该动作比平均动作好。

下面我们改写新策略回报函数公式，求取优势函数的期望，以便后续估计：

η (\tilde{π}) = η (π) + \sum_{t = 0}^{\infty} \sum_{s} P (s_{t} = s | \tilde{π}) \sum_{a} \tilde{π} (a | s) γ^{t} A_{π} (s, a)

$\eta(\tilde{\pi})=\eta(\pi)+\sum_{t=0}^{\infty}\sum_{s}P(s_{t}=s|\tilde{\pi})\sum_{a}\tilde{\pi}(a|s)\gamma^{t}A_{\pi}(s,a)$ 我们定义

ρ_{π} (s) = P (s_{0} = s) + γ P (s_{1} = s) + γ^{2} P (s_{2} = s) + \dots

$\rho_{\pi}(s)=P(s_{0}=s)+\gamma P(s_{1}=s)+\gamma^{2}P(s_{2}=s)+\cdots$ 那么

η (\tilde{π}) = η (π) + \sum_{s} ρ_{\tilde{π}} (s) \sum_{a} \tilde{π} (a | s) γ^{t} A_{π} (s, a)

$\eta(\tilde{\pi})=\eta(\pi)+\sum_{s}\rho_{\tilde{\pi}}(s)\sum_{a}\tilde{\pi}(a|s)\gamma^{t}A_{\pi}(s,a)$ 注意此时的状态

s

$s$ 由新的策略产生，严重依赖新策略。

替代回报函数

针对此严重依赖新策略，而新策略又未知的问题，我们做一步近似，用旧策略产生的状态分布求取期望。当新旧参数很接近时，这种近似是合理的。

L_{π} (\tilde{π}) = η (π) + \sum_{s} ρ_{π} (s) \sum_{a} \tilde{π} (a | s) γ^{t} A_{π} (s, a)

$L_{\pi}(\tilde{\pi})=\eta(\pi)+\sum_{s}\rho_{\pi}(s)\sum_{a}\tilde{\pi}(a|s)\gamma^{t}A_{\pi}(s,a)$ 一步近似过后，可以看出动作

a

$a$ 也是由新策略产生，但是新策略参数是未知的。这时，我们引入重要性采样来处理此问题。

\begin{matrix} \sum_{a} \tilde{π} (a | s_{n}) A_{θ_{o l d}} (s_{n}, a) = E_{a \sim q} [\frac{\tilde{π} (a | s_{n})}{q (a | s_{n})} A_{θ_{o l d}} (s_{n}, a)] \\ let q (a | s_{n}) = π_{θ_{o l d}} (a | s_{n}) \\ \frac{1}{1 - γ} E_{s \sim ρ_{θ_{o l d}}} [\cdot] approximates \sum_{s} ρ_{θ_{o l d}} (s) [\cdot] \end{matrix}

$\begin{gather*} \sum_{a}\tilde{\pi}(a|s_{n})A_{\theta_{old}}(s_{n},a)=E_{a\sim q}\left[ \frac{\tilde{\pi}(a|s_{n})}{q(a|s_{n})}A_{\theta_{old}}(s_{n},a) \right] \\ \text{ let }q(a|s_{n})=\pi_{\theta_{old}}(a|s_{n}) \\ \frac{1}{1-\gamma}E_{s\sim \rho_{\theta_{old}}}[\cdot] \text{ approximates } \sum_{s}\rho_{\theta_{old}}(s)[\cdot] \end{gather*}$ 则替代回报函数变为

L_{π} (\tilde{π}) = η (π) + E_{s \sim ρ_{θ_{o l d}}, a \sim π_{θ_{o l d}}} [\frac{{\tilde{π}}_{θ} (a | s)}{π_{θ_{o l d}} (a | s)} A_{θ_{o l d}} (s, a)]

$L_{\pi}(\tilde{\pi})=\eta(\pi)+E_{s\sim \rho_{\theta_{old}}, a\sim\pi_{\theta_{old}}}\left[ \frac{\tilde{\pi}_{\theta}(a|s)}{\pi_{\theta_{old}}(a|s)}A_{\theta_{old}}(s,a) \right]$ 替代回报函数与原回报函数唯一的区别是状态的分布不同。改善

L

$L$ 的策略也能改善原回报函数，那么下一步需要解决的就是步长问题。为解决此问题，我们引入一个重要不等式：

η (\tilde{π}) \geq L_{π} (\tilde{π}) - C D_{K L}^{max} (π, \tilde{π}) where C = \frac{2 ϵ γ}{(1 - γ)^{2}}

$\eta(\tilde{\pi})\geq L_{\pi}(\tilde{\pi}) - CD_{KL}^{\max}(\pi,\tilde{\pi})\quad \text{ where } C=\frac{2\epsilon\gamma}{(1-\gamma)^{2}}$ 其中

D_{K L}^{max}

$D_{KL}^{\max}$ 是两个分布的KL散度，证明从略。这个不等式给出了

η (\tilde{π})

$\eta(\tilde{\pi})$ 的下界。

TRPO问题

我们要找的更新策略其实就是使得上述不等式下界最大的策略，该问题可转化为：

max_{θ} [L_{θ_{o l d}} (θ) - C D_{K L}^{max}]

$\max_{\theta}[L_{\theta_{old}}(\theta)-CD_{KL}^{\max}]$ 利用惩罚因子

C

$C$ ，每次迭代步长很小，此问题可以转化为

\begin{aligned} max_{θ} E_{s \sim ρ_{θ_{o l d}}, a \sim π_{θ_{o l d}}} [\frac{{\tilde{π}}_{θ} (a | s)}{π_{θ_{o l d}} (a | s)} A_{θ_{o l d}} (s, a)] \\ subject to D_{K L}^{max} (θ_{o l d}, θ) \leq δ \end{aligned}

$\begin{split} & \max_{\theta}E_{s\sim \rho_{\theta_{old}}, a\sim\pi_{\theta_{old}}}\left[ \frac{\tilde{\pi}_{\theta}(a|s)}{\pi_{\theta_{old}}(a|s)}A_{\theta_{old}}(s,a) \right] \\ & \text{subject to } D_{KL}^{\max}(\theta_{old},\theta)\leq \delta \end{split}$ 连续问题有无穷多个状态，那么约束条件也有无穷多个，问题不可解。这里我们用平均KL散度替代最大KL散度

subject to D_{K L}^{ρ_{θ_{o l d}}} (θ_{o l d}, θ) \leq δ

$\text{subject to } D_{KL}^{\rho_{\theta_{old}}}(\theta_{old},\theta)\leq \delta$ 并且取

s \sim ρ_{θ_{o l d}} \to s \sim π_{θ_{o l d}}

$s\sim\rho_{\theta_{old}} \to s\sim \pi_{\theta_{old}}$ 最终TRPO问题简化为

\begin{aligned} max_{θ} E_{s \sim ρ_{θ_{o l d}}, a \sim π_{θ_{o l d}}} [\frac{{\tilde{π}}_{θ} (a | s)}{π_{θ_{o l d}} (a | s)} A_{θ_{o l d}} (s, a)] \\ subject to E_{s \sim ρ_{θ_{o l d}}} [D_{K L} (π_{θ_{o l d}} (\cdot | s) ‖ π_{θ} (\cdot | s))] \leq δ \end{aligned}

$\begin{split} & \max_{\theta}E_{s\sim \rho_{\theta_{old}}, a\sim\pi_{\theta_{old}}}\left[ \frac{\tilde{\pi}_{\theta}(a|s)}{\pi_{\theta_{old}}(a|s)}A_{\theta_{old}}(s,a) \right] \\ & \text{subject to } E_{s\sim \rho_{\theta_{old}}}[D_{KL}( \pi_{\theta_{old}}(\cdot | s) \| \pi_{\theta}(\cdot | s) )] \leq \delta \end{split}$ 虽然是简化版，但依然很难实现。一种更实际的办法是对TRPO目标函数进行一阶近似，约束条件进行二阶近似。

TRPO近似问题

进一步简化TRPO问题：

\begin{aligned} min_{θ} - [\nabla_{θ} L_{θ_{o l d}} (θ) |_{θ = θ_{o l d}} \cdot (θ - θ_{o l d})] \\ subject to \frac{1}{2} (θ_{o l d} - θ)^{T} A (θ_{o l d}) (θ_{o l d} - θ) \leq δ \end{aligned}

$\begin{split} &\min_{\theta}-[\nabla_{\theta}L_{\theta_{old}}(\theta)|_{\theta=\theta_{old}}\cdot(\theta-\theta_{old})] \\ &\text{subject to }\frac{1}{2}(\theta_{old}-\theta)^{T}A(\theta_{old})(\theta_{old}-\theta)\leq \delta \end{split}$ 其中

L_{θ_{o l d}} (θ) |_{θ = θ_{o l d}} = E_{s \sim ρ_{θ_{o l d}}, a \sim π_{θ_{o l d}}} [\frac{{\tilde{π}}_{θ} (a | s)}{π_{θ_{o l d}} (a | s)} A_{θ_{o l d}} (s, a)]

$L_{\theta_{old}}(\theta)|_{\theta=\theta_{old}}=E_{s\sim \rho_{\theta_{old}}, a\sim\pi_{\theta_{old}}}\left[ \frac{\tilde{\pi}_{\theta}(a|s)}{\pi_{\theta_{old}}(a|s)}A_{\theta_{old}}(s,a) \right]$ ,

A = E_{θ_{o l d}} [\nabla^{2} \log π_{θ_{o l d}}]

$A=E_{\theta_{old}}[\nabla^{2}\log\pi_{\theta_{old}}]$ 为Fisher矩阵。简化过程从略。我们可以利用共轭梯度法求解最优更新量。此处不讨论共轭梯度法的具体细节，仅给出结果：

\begin{matrix} θ = θ_{o l d} + β d \\ A (θ_{o l d}) d = \nabla_{θ} L_{θ_{o l d}} (θ) |_{θ = θ_{o l d}} \\ β = \sqrt{\frac{2 δ}{d^{T} A d}} \end{matrix}

$\begin{gather*} \theta = \theta_{old}+\beta d \\ A(\theta_{old})d=\nabla_{\theta}L_{\theta_{old}}(\theta)|_{\theta=\theta_{old}} \\ \beta=\sqrt{\frac{2\delta}{d^{T}Ad}} \end{gather*}$

很容易证明： $\begin{aligned} - D_{K L} (P ‖ Q) & = \sum_{i = 1}^{n} p_{i} \log q_{i} - \sum_{i = 1}^{n} p_{i} \log p_{i} \\ = \sum_{i = 1}^{n} p_{i} \log (\frac{q_{i}}{p_{i}}) \\ \leq \sum_{i = 1}^{n} p_{i} (q_{i} / p_{i} - 1) (\ln (x) \leq x - 1, \ln (x) = x - 1 ⟺ x = 1) \\ = \sum_{i = 1}^{n} (q_{i} - p_{i}) \\ = \sum_{i = 1}^{n} q_{i} - \sum_{i = 1}^{n} p_{i} \\ = 0 \end{aligned}$ $\begin{split} -D_{KL}(P\|Q) &=\sum_{i=1}^{n}p_{i}\log q_{i}-\sum_{i=1}^{n}p_{i}\log p_{i} \\ &= \sum_{i=1}^{n}p_{i}\log\left(\frac{q_{i}}{p_{i}}\right) \\ &\leq \sum_{i=1}^{n}p_{i}(q_{i}/p_{i}-1) \qquad (\ln(x)\leq x-1, \ln(x)=x-1 \iff x=1) \\ &= \sum_{i=1}^{n}(q_{i}-p_{i}) \\ &= \sum_{i=1}^{n}q_{i}-\sum_{i=1}^{n}p_{i} \\ &= 0 \end{split}$ ↩
证明 $\begin{aligned} E_{τ | \tilde{π}} [\sum_{t = 0}^{\infty} γ^{t} A_{π} (s_{t}, a_{t})] & = E_{τ | \tilde{π}} [\sum_{t = 0}^{\infty} γ^{t} (r (s_{t}) + γ V_{π} (s_{t + 1}) - V_{π} (s_{t}))] \\ = E_{τ | \tilde{π}} [\sum_{t = 0}^{\infty} γ^{t} (r (s_{t})) + \sum_{t = 0}^{\infty} γ^{t} (γ V_{π} (s_{t + 1}) - V_{π} (s_{t}))] \\ = E_{τ | \tilde{π}} [\sum_{t = 0}^{\infty} γ^{t} (r (s_{t}))] + E_{s_{0}} [- V_{π} (s_{0})] (from the same initial state) \\ = η (\tilde{π}) - η (π) \end{aligned}$ $\begin{split} E_{\tau|\tilde{\pi}}\left[ \sum_{t=0}^{\infty}\gamma^{t}A_{\pi}(s_{t},a_{t}) \right] &= E_{\tau|\tilde{\pi}}\left[ \sum_{t=0}^{\infty}\gamma^{t}(r(s_{t})+\gamma V_{\pi}(s_{t+1})-V_{\pi}(s_{t})) \right] \\ &= E_{\tau|\tilde{\pi}}\left[ \sum_{t=0}^{\infty}\gamma^{t}(r(s_{t}))+\sum_{t=0}^{\infty}\gamma^{t}(\gamma V_{\pi}(s_{t+1})-V_{\pi}(s_{t})) \right] \\ &= E_{\tau|\tilde{\pi}}\left[ \sum_{t=0}^{\infty}\gamma^{t}(r(s_{t})) \right] + E_{s_{0}}[-V_{\pi}(s_{0})] \quad \text{(from the same initial state)} \\ &= \eta(\tilde{\pi})-\eta(\pi) \end{split}$ ↩

TRPO 简述 - A Brief Introduction to Trust Region Policy Optimization