《强化学习数学原理》学习笔记1——贝尔曼期望公式推导

首先看一下贝尔曼期望方程：
$$v_{\pi }(s)={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma v_{\pi }(S_{t+1})\mid S_t=s\right],s\in \mathcal{S}$$
要推导贝尔曼期望方程，首先要明确以下核心概念：

• 状态价值函数 $v_{\pi }(s)$ ：在策略 $\pi$ 下，从状态 $s$ 出发可以获得的累计折扣奖励的期望，即：
  $$v_{\pi }(s)={\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]\text{\hspace{1em}(1)}$$
  其中，$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots$，是指“从时刻 $t$ 开始，累积的折扣奖励”，$\gamma \in [0,1)$是折扣因子，用来调整模型对于近期和远期奖励的重视程度，避免回报发散到无穷大；
• 策略$\pi (a\mid s)$：在状态 $s$ 下选择动作 $a$ 的概率；
• 状态转移概率$p(s^{\prime }\mid s,a)$：在状态 $s$ 执行动作 $a$ 后，转移到状态 $s^{\prime }$ 的概率；
• 即时奖励（immediate reward）$R_{t+1}$：在状态 $s$ 执行动作 $a$ 后，立即获得的奖励值。

从累积奖励 $G_t$ 的公式中可以看出，$G_t$ 可拆分为即时奖励 $R_{t+1}$ 和后续累积奖励的折扣 $\gamma G_{t+1}$，即：

$$G_t=R_{t+1}+\gamma G_{t+1}\text{\hspace{1em}(2)}$$

由式（1），对两边取 “在 $S_t=s$ 条件下的期望”，可得状态价值函数$v_{\pi }(s)$：

$$v_{\pi }(s)={\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s\right]\text{\hspace{1em}(3)}$$

根据期望的线性性质 $\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$，式（3）可拆为：

$$v_{\pi }(s)={\mathbb{E}}_{\pi }\left[R_{t+1}\mid S_t=s\right]+\gamma {\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s\right]\text{\hspace{1em}(4)}$$
此时我们分析一下 ${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s\right]$:

• $G_{t+1}$：从时刻 $t+1$ 开始，往后所有时刻的“累积折扣奖励”总和；
• ${\mathbb{E}}_{\pi }\left[\cdot \mid S_t=s\right]$：在策略 $\pi$ 下，已知时刻 $t$ 处于状态 $s$ 时，对某个量取期望；

同时引入一个变量：

• $v_{\pi }(s^{\prime })$：表示在时刻 $t+1$ ，策略 $\pi$ 下，从状态 $s^{\prime }$ 出发，能拿到的累积折扣奖励的期望。

由式（1）很容易可以推导出：
$$v_{\pi }(s^{\prime })={\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]\text{\hspace{1em}(5)}$$
对 ${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s\right]$ 做全概率展开，我们需要考虑：从时刻 $t$ 处于状态 $s$ 出发，时刻 $t+1$ 会转移到哪个状态 $S_{t+1}$（因为状态转移是随机的，依赖策略 $\pi$ 和转移概率 $p$）。

根据期望的全概率公式（对所有可能的后续状态 $s^{\prime }$ 求和），有：

$${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s\right]=\sum _{s^{\prime }}{\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s,S_{t+1}=s^{\prime }\right]\cdot P_{\pi }\left(S_{t+1}=s^{\prime }\mid S_t=s\right)\text{\hspace{1em}(5)}$$

其中：

• ${\sum }_{s^{\prime }}\dots$ ：对 “时刻 $t+1$ 所有可能的状态 $s^{\prime }$” 求和。
• ${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s,S_{t+1}=s^{\prime }\right]$：已知时刻 $t$ 在 状态 $s$ 且时刻 $t+1$ 在状态 $s^{\prime }$ 时，$G_{t+1}$ 的期望。
• $P_{\pi }\left(S_{t+1}=s^{\prime }\mid S_t=s\right)$：已知时刻 $t$ 在状态 $s$ 时，时刻 $t+1$ 转移到状态 $s^{\prime }$ 的概率。

根据马尔可夫性质，当已知 $S_{t+1}=s^{\prime }$ 时，$G_{t+1}$ 的期望与$S_t=s$无关（因为 $G_{t+1}$ 是从 $t+1$ 开始的累积奖励，仅依赖 $t+1$ 及之后的状态）。因此：

$${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s,S_{t+1}=s^{\prime }\right]={\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]\text{\hspace{1em}(6)}$$

而根据式（5），${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]=v_{\pi }(s^{\prime })$。因此：

$${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s,S_{t+1}=s^{\prime }\right]=v_{\pi }(s^{\prime })\text{\hspace{1em}(7)}$$
将式（7）代入式（5）：

$${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s\right]=\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })\cdot P_{\pi }\left(S_{t+1}=s^{\prime }\mid S_t=s\right)\text{\hspace{1em}(8)}$$

注意到式（8）右边的求和式，正是对 $v_{\pi }(S_{t+1})$ 在 $S_t=s$ 条件下的期望（因为 $S_{t+1}$ 是随机变量，取值为 $s^{\prime }$，概率为 $P_{\pi }\left(S_{t+1}=s^{\prime }\mid S_t=s\right)$）。用期望符号表示即为：

$$\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })\cdot P_{\pi }\left(S_{t+1}=s^{\prime }\mid S_t=s\right)={\mathbb{E}}_{\pi }\left[v_{\pi }(S_{t+1})\mid S_t=s\right]\text{\hspace{1em}(9)}$$
结合式（8）和式（9）得：
$${\mathbb{E}}_{\pi }\left[G_{t+1}\mid S_t=s\right]={\mathbb{E}}_{\pi }\left[v_{\pi }(S_{t+1})\mid S_t=s\right]\text{\hspace{1em}(10)}$$
式（10）的核心思想可以理解为：状态价值函数本身就是 “从该状态出发的总奖励期望”，所以 “对未来总奖励的期望”，可以转化为 “对未来状态的价值的期望”。
要计算 ${\mathbb{E}}_{\pi }\left[v_{\pi }(S_{t+1})\mid S_t=s\right]$，需考虑策略 $\pi$ 选择动作和状态转移概率 $p$ 的联合作用：

• 首先，策略 $\pi$ 决定在状态 $s$ 下选择动作 $a$ 的概率为 $\pi (a\mid s)$；
• 之后，状态转移概率 $p(s^{\prime }\mid s,a)$ 决定执行动作 $a$ 后，从 $s$ 转移到 $s^{\prime }$ 的概率；
• 最后，对所有可能的动作 $a$ 和转移后的状态 $s^{\prime }$ 求和，得到期望。

因此：

$${\mathbb{E}}_{\pi }\left[v_{\pi }(S_{t+1})\mid S_t=s\right]=\sum _a\pi (a\mid s)\sum _{s^{\prime }}p(s^{\prime }\mid s,a)v_{\pi }(s^{\prime })\text{\hspace{1em}(11)}$$
将式（11）带入式（4）可得：

$$\underset{v_{\pi }(s)}{\underbrace{{\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]}}={\mathbb{E}}_{\pi }\left[R_{t+1}\mid S_t=s\right]+\gamma \underset{{\mathbb{E}}_{\pi }\left[v_{\pi }(S_{t+1})\mid S_t=s\right]}{\underbrace{\sum _a\pi (a\mid s)\sum _{s^{\prime }}p(s^{\prime }\mid s,a)v_{\pi }(s^{\prime })}}\text{\hspace{1em}(12)}$$

再利用期望的简洁表示 $\mathbb{E}[X\mid Y=y]$，可将上式简化为：

$$v_{\pi }(s)={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma v_{\pi }(S_{t+1})\mid S_t=s\right],s\in \mathcal{S}\text{\hspace{1em}(13)}$$

这就是贝尔曼期望方程，它的含义是：“状态 $s$ 的价值，等于即时奖励 + 后续状态价值的折扣期望”。