学习内容：ＤＤＰＧ
关键词：记忆库，估计网络，现实网络，Policy Gradient，Value Based，Actor-Critic
简述：
ＤＤＰＧ（Deep Deterministic Policy Gradient）可以概括为两个部分Deep和Deterministic Policy Gradient，其中Deep和ＤＱＮ类似拥有两套结构相同但是更新频率不同的神经网络，Deterministic Policy Gradient指的是确定性策略梯度．在连续动作上输出一个动作值．
动作估计网络输出实时动作，为actor在现实中实行，动作现实网络用于更新价值网络系统．状态估计网络将actor的动作当做输入，状态现实网络将动作现实网络输出动作与状态值加以分析．
DDPG是基于actor-critic的无模型确定性策略梯度算法，人工智能就是解决无数据预处理，多维度，敏感输入的多目标任务。DQN只能解决低维度的离散输出动作的任务，不能直接解决连续动作任务，DQN及其衍生算法直接扔掉了动作空间中一些可能有用的信息。
DDPG吸收练DQN算法的优点，使用异策略（离线学习）方法，在样本存储缓存区（replay buffer）中采样最小化样本间的相关性，使用Q-network训练，并定时返回参数。
Policy Gradient:
能够在连续区间内挑选动作，并且不通过分析反向误差，而是直接输出行为．是基于整条回合数据的更新和基于策略梯度的更新
DDPG伪代码：
伪代码注释：
随机初始化critic网络和actor网络，并初始化各自参数
初始化上述两个网络对应目标网络
初始化repaly buffer
在Ｍ个回合内：
随机初始化分布Ｎ用作动作探索
初始化初始状态
在次数Ｔ内：
根据当前策略和噪声选择动作
执行动作和得到奖励与下一个状态
将当前状态，当前动作，当前奖励和下一个状态存储在Ｒ中
随机采样
根据critic的损失函数更新critic网络
根据actor的梯度更新actor网络
结束循环
结束循环
公式的前半部分表示根据梯度选择奖赏值最大的动作，后半部分表示根据梯度选择选该最大奖赏值动作的策略
Tensorboard 数据图：
接下来展开C-train，C代表critic，在训练价值系统时，需要当前状态ｓ，下一个状态ｓ＿，环境奖励Ｒ，和策略梯度，其中用到Actor的是eval网络即动作估计网络，来更新价值系统．
再展开TD_error，采用时序差分算法计算现实网络和估计网络的差值，论文采用均方差求解，然后传递给C-train
展开target_q，Ｑ现实现实更新与下一个状态和动作奖励有关
展开Policy Gradient，策略梯度算法与当前状态有关
