李宏毅深度强化学习(国语)课程(2018)
李宏毅深度强化学习(国语)课程(2018)_哔哩哔哩_bilibili
Q-learning是基于值函数的方法，并不是learn的policy，而是learn的critic，critic并不直接采取行为，而是评价现在的行为有多好，或者多不好。
两种衡量的方法，一种是Monte-Carlo（MC）方法，一种是Temporal-difference（TD）方法。
Monte-Carlo方法，让actor去和环境做互动，给critic看。critic估测，当前的状态s接下来的cumulated reward会有多大。但实际操作上，不可能把所有的state通通都扫过，所以通常是一个network，对于一个network来说，就算是一个state从来没有看过，也可以估测出一个value的值。
训练这个network的时候，就是(sa,Ga)，(sb,Gb)，希望Ga与越近越好，Gb与
越近越好。
MC方法需要玩到游戏结束，才能update network。TD基于下式计算，不需要将游戏玩到底。按照与
越接近越好的loss 训练下去。
MC与TD方法对比，TD方法比较常用。
举例说明
介绍另外一种critic，当action无法穷举，使用左图。
虽然表面上learn一个Q function，来评估一个actor π的好坏，但是，实际上有了这个Q function，我们就可以做reainforcement learning。
假设有一个初始的actor π，用π跟环境互动，collect data，然后learn 一个actor π的Q value。
learn 出一个Q function以后，下面介绍一个方法，可以找到一个新的policy π＇，要比原来的policy π要好，以下定义了什么是“好”。其实，π＇是依赖于π的，没有具体的参数。注意：下式适合离散动作，后面解决连续动作问题。
证明新的policy π＇，要比原来的policy π要好。
技巧1：target network
技巧2：Exploration
如果每个动作没有采取过，那么估出来的动作是不准确的，所以需要探索。
技巧3：Replay Buffer
Batch里面是不同的policy的采样，data越divergence越好。这里experience是不是来自于同一个policy π并没有关系，只是用来估测值。
Q-learning算法流程：
