强化学习笔记：Q-learning

本文整理于datawhalechina.github.io的强化学习教程以及莫烦python强化学习教程

这篇写短点吧，要是再写长的话动辄几个小时，真的顶不住了

0x01 简介

在强化学习中，$Q^{\pi }(s,a)$，简记为$Q(s,a)$，是指在状态$s$下，当前步采取策略$a$，接下来所有的步骤都依据给定的策略$\pi$来决策直到回合结束所获得的回报的期望值。

为了使得reward最大，这里agent的策略$\pi$可以认为是在当前的状态$s$下，无脑选择使得$Q^{\pi }(s,a)$最大的$a$。

上图是Q-learning的算法流程图。给定agent的策略$\pi$，我们要通过这么一个算法更新$Q^{\pi }(s,a)$，简记为$Q(s,a)$。为了使收益最大，agent在每一个状态$s$将无脑选择$Q^{\pi }(s,a)$值最大的动作$a$。

假设环境状态为$s$，Q-learning的做法是：

首先，根据当前的$s$选择一个动作$a$，这个动作$a$的选择策略是$ϵ-greedy$，即大概率选择使得$Q(s,a)$的值（这时$Q(s,a)$还没有被训练好）达到最大的$a^{\ast }$，但是会有$ϵ$的概率来随机选择一个动作$a$。

接着，我们选取了动作$a$之后，就可以采取$a$，然后获得奖励$r$，并且到达下一个状态$s^{\prime }$。

下面，更新$Q(s,a)$：

$$Q(s,a)=(1-\alpha )Q(s,a)+\alpha (r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime }))$$

其中$\alpha$是学习率，$\gamma$是折扣因子。假设我们完全随机地初始了$Q(s,a)$值，但是我们在后来的更新中，逐渐引入了每一步的收益$r$。并且，因为学习率$\alpha$的存在，之前的初始项会被慢慢稀释掉，由$r$组成的$Q(s,a)$值留存的越来越多。

最后，重复上面的动作，$Q(s,a)$值逐渐收敛。