强化学习(一) 引入

今天开始连载强化学习,这个边载是以前看Reinforcement Learning: An Introduction 这本书做的笔记,最近发现Richard S. Sutton 和 Andrew G. Barto还在为本书更新,所以就想着把原来的笔记也更新一下,整理然后放在这里。
因为是笔记形式,所以这里的货是非常的干的。都是把自己认为重要的东西记了下来,当然也许会有太过骨感的意味。 但因为本次的定位不是给从不知道的人看的,而是给那些至少知道这本书的人一起交流的。

今天是引入,所以也就是几个概念。

Introduction

强化学习是学习如何最大化奖励。

强化学习一直需要面对一个问题,即是权衡exploration(开发) 与exploitation(探索)。

强化学习的一大特点是agent与不确定环境的互动。

Elements of Reinforcement Learning

Policy: 是学习agent在任何时刻的行为方式,是一个从当前环境状态到动作空间的映射。

Reward: 强化学习的目标。在强化学习中,agent的目标就是最大化它能获得的所有reward。单个reward只是处于某一状态的即时感觉,那长远来看,即agent可能获得的所有reward,用value function来度量。

Value of a state: 是agent从当前状态算起,未来能获得的所有的reward总和。

Model of a environment: 是所有可用于推断环境如何反应的信息。

猜你喜欢

转载自www.cnblogs.com/vpegasus/p/rl_introduction.html