程序员学习强化学习之基本概念的数学表达

基本概念

迷宫游戏为例

状态(State)：S = {s1, . . . , s9}

行动(Action)：A = {a1, . . . , a5}

状态转移(State transition)：

奖励(Reward)：r(s, a) 是 s和a的函数

序列(Trajectories)

策略1的序列：

策略2的序列：

回报(return)：也叫累计奖励。回报部分包括即时奖励(immediate reward)和未来奖励(future rewards)，这也很好理解，因为智能体目标是最大化累计奖励。

对于策略1：回报为 return = 0 + 0 + 0 + 1 = 1.

对于策略2：回报为 return = 0 − 1 + 0 + 1 = 0

折扣因子(discounted return)：discounted return =   其中 

折扣因子的引入：1）避免回报无限大；2）短期奖励和长期奖励的平衡

片段(episode)：片段任务(episodic tasks)表示序列是有限步骤；持续任务(continuing tasks)表示序列是无限步骤