DRQN
为何在希望DQN按人类水平玩Atari游戏时需要DRQN？要回答这个问题，首先要了解什么是部分可观测马尔科夫决策过程(POMDP)。当对环境只有有限信息时，该环境就称为POMDP。到目前为止，在前面的内容中，已了解一个完全可观测的MDP是已知所有可能的行为和状态，尽管智能体不知道转移概率和奖励概率，但对环境信息是完全已知的，例如，在建一个冰冻湖环境中，完全已知关于环境的所有状态和行为，那么就可以很容易地将环境建模为一个可观测的MDP。但大多数真实世界中的环境只能部分可观测，不能观测到所有状态。假设智能体要在真实世界环境中学习行走，显然，智能体不具备环境的完备信息。在POMDP中，状态只提供部分信息，但在过去的状态中保留的信息可有助于智能体更好地理解环境特征，从而改进策略。因此，在POMDP中，需要保留先前状态的相关信息，以采取最佳行为。
因此，通过增加LSTM层来改进DQN架构，以更好地理解先前信息。在DQN架构中，用LSTM RNN替代第一个后卷积全连接层。通过这种方式，还可以解决部分可观测问题，因为现在的智能体具有记忆过去状态的能力，从而可以改进策略。
DRQN架构
与DQN非常类似，只是用LSTM RNN替代了第一个后卷积全连接层
这时，将