RL【3】：Bellman Optimality Equation

系列文章目录

---

---

前言

本系列文章主要用于记录 B站 赵世钰老师的【强化学习的数学原理】的学习笔记，关于赵老师课程的具体内容，可以移步：
B站视频：【【强化学习的数学原理】课程：从零开始到透彻理解（完结）】
GitHub 课程资料：Book-Mathematical-Foundation-of-Reinforcement-Learning

---

Definition of optimal policy

The state value could be used to evaluate if a policy is good or not: if

$v_{{\pi }_1}(s)\ge v_{{\pi }_2}(s),\forall s\in \mathcal{S}$

then ${\pi }_1$ is “better” than ${\pi }_2$.

A policy ${\pi }^{\ast }$ is optimal if

$v_{{\pi }^{\ast }}(s)\ge v_{\pi }(s),\forall s\in \mathcal{S},\forall \pi .$

---

Bellman optimality equation

Introduction

Bellman optimality equation (elementwise form):

$v(s)={\max }_{\pi }{\sum }_a\pi (a\mid s)\left({\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v(s^{\prime })\right),\forall s\in \mathcal{S}$

$={\max }_{\pi }{\sum }_a\pi (a\mid s)q(s,a),s\in \mathcal{S}$

Remarks:

• $p(r\mid s,a),p(s^{\prime }\mid s,a)$ are known.
• $v(s),v(s^{\prime })$ are unknown and to be calculated.
• $\pi (s)$ is known!

结合 Bellman 方程依赖于已知策略，解释为什么在 Bellman 最优性方程 里要取 ${\max }_{\pi }$，以及它和最优策略 ${\pi }^{\ast }$ 的关系

1. 回顾：Bellman 方程（依赖已知策略）

   对于一个固定的策略 $\pi$，状态价值函数定义为：

   $v_{\pi }(s)={\sum }_a\pi (a\mid s)[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s’}p(s’\mid s,a)v_{\pi }(s’)]$

   • 这里 $\pi (a|s)$ 是 已知的动作分布，所以 Bellman 方程在这种情况下是 策略评估 (policy evaluation) 工具。
     • 策略 = 对每个状态 $s$，给所有可能动作 $a$ 分配概率，即一个策略对应了一组“所有状态的动作概率分布”。
     • 不同策略对应的就是 不同的动作概率分布集合。

       • 策略 ${\pi }_1$：

         在状态 $s$，可能给动作 $a_1$ 的概率高一些，给动作 $a_2$ 的概率低一些。

       • 策略 ${\pi }_2$：

         在相同状态 $s$，可能恰好相反，给 $a_1$ 的概率低，给 $a_2$ 的概率高。

2. 从策略依赖到最优性

   • 如果我们不想只评估一个具体策略，而是想找到 最优策略，那就需要考虑：对于每个状态 $s$，什么样的动作选择（或策略）能最大化长期回报？

   • 于是，状态价值的定义变成：

     $v^{\ast }(s)={\max }_{\pi }{v}_{\pi }(s),\forall s\in \mathcal{S}$

   • 这里的 ${\max }_{\pi }$ 表示：在所有可能的策略中，找到一个能使价值函数最大的策略。

3. Bellman 最优性方程

   • 把 ${\max }_{\pi }$ 引入 Bellman 方程，得到：

     $v^{(}s)={\max }_a[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s’}p(s’\mid s,a)v^{(}s’)]$

   • 关键点：

     • 在普通 Bellman 方程里：$\pi (a|s)$ 是已知的分布。
     • 在 Bellman 最优性方程里：我们不固定策略，而是 直接在动作层面取最大化，等价于“选择最优动作”。
     • 因此，最优价值函数 $v^{\ast }(s)$ 不再依赖于某个具体的 $\pi$，而是内含了 策略优化的过程。

4. 和最优策略 ${\pi }^{\ast }$ 的关系

   • 定义：

     ${\pi }^{(}s)=\arg {\max }_a[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s’}p(s’\mid s,a)v^{(}s’)]$

     即最优策略就是在每个状态下选择能使未来回报最大的动作。

   • 换句话说：

     • 普通 Bellman 方程 = 已知策略的价值评估。
     • Bellman 最优性方程 = 在所有策略中选择最优的价值函数，从而定义了最优策略。

Bellman optimality equation (matrix-vector form):

$v={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v)$

where the elements corresponding to $s$ or $s^{\prime }$ are

$[r_{\pi }{]}_s\triangleq {\sum }_a\pi (a\mid s){\sum }_{r}p(r\mid s,a)r,$

$[P_{\pi }]s,s^{\prime }=p(s^{\prime }\mid s)\triangleq {\sum }_a\pi (a\mid s)\sum s^{\prime }p(s^{\prime }\mid s,a)$

Here ${\max }_{\pi }$ is performed elementwise.

Maximization on the right-hand side

Solve the Bellman optimality equation

必须先考虑右边的式子，即先有某个最优策略 $\pi$，然后才有最优的状态价值 $v(s)$

• elementwise form

  $v(s)={\max }_{\pi }{\sum }_a\pi (a\mid s)\left({\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v(s^{\prime })\right),\forall s\in \mathcal{S}$

  • Fix $v^{\prime }(s)$ first and solve $\pi$:

    $v(s)={\max }_{\pi }{\sum }_a\pi (a\mid s)q(s,a)$

  • Inspired by the above example, considering that ${\sum }_a\pi (a\mid s)=1$, we have

    ${\max }_{\pi }{\sum }_a\pi (a\mid s)q(s,a)={\max }_{a\in \mathcal{A}(s)}q(s,a),$

  • where the optimality is achieved when

    $\pi (a\mid s)=\{\begin{array}{ll}1,& a=a^{\ast }\\ 0,& a\ne a^{\ast }\end{array}$

  • where $a^{\ast }=\arg {\max }_{a}q(s,a)$.

• matrix-vector form

  $v={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v)$

  • Let

    $f(v):={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v).$

  • Then, the Bellman optimality equation becomes

    $v=f(v)$

  • where

    $[f(v)]s=\max \pi {\sum }_a\pi (a\mid s)q(s,a),s\in \mathcal{S}.$

Contraction mapping theorem

Fixed point:

$x\in X$ is a fixed point of $f:X\to X$ if $f(x)=x$

Contraction mapping (or contractive function):

$f$ is a contraction mapping if $\Vert f(x_1)-f(x_2)\Vert \le \gamma \Vert x_1-x_2\Vert$, where $\gamma \in (0,1)$.

• $\gamma$ must be strictly less than $1$ so that many limits such as ${\gamma }^k\to 0$ as $k\to \infty$ hold.
• Here $\Vert \cdot \Vert$ can be any vector norm.

Contraction mapping theorem

For any equation that has the form of $x=f(x)$, if $f$ is a contraction mapping, then

• Existence: There exists a fixed point $x^{\ast }$ satisfying $f(x^{\ast })=x^{\ast }$.
• Uniqueness: The fixed point $x^{\ast }$ is unique.
• Algorithm: Consider a sequence {xk}\{x_k\}{xk​} where $x_{k+1}=f(x_k)$, then $x_k\to x^{\ast }$ as $k\to \infty$. Moreover, the convergence rate is exponentially fast.

Solution

Let’s come back to the Bellman optimality equation:

$v=f(v)={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v)$

Contraction Property:

• $f(v)$ is a contraction mapping satisfying

  $\Vert f(v_1)-f(v_2)\Vert \le \gamma \Vert v_1-v_2\Vert$

• where $\gamma$ is the discount rate!

Existence, Uniqueness, and Algorithm:

• For the BOE $v=f(v)={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v)$, there always exists a solution $v^{\ast }$ and the solution is unique. The solution could be solved iteratively by

  $v_{k+1}=f(v_k)={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_k)$

• This sequence {vk}\{v_k\}{vk​} converges to $v^{\ast }$ exponentially fast given any initial guess $v_0$. The convergence rate is determined by $\gamma$.

Optimality

Suppose $v^{\ast }$ is the solution to the Bellman optimality equation. It satisfies

$v^{\ast }={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })$

Suppose

${\pi }^{\ast }=\arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })$

Then

$v^{\ast }=r_{{\pi }^{\ast }}+\gamma P_{{\pi }^{\ast }}{v}^{\ast }$

Therefore, ${\pi }^{\ast }$ is a policy and $v^{\ast }=v_{{\pi }^{\ast }}$ is the corresponding state value.

Policy Optimality

• Suppose that $v^{\ast }$ is the unique solution to $v={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }v),$
  and $v_{\pi }$ is the state value function satisfying $v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$ for any given policy $\pi$, then

  $v^{\ge }{v}_{\pi },\forall \pi$

Greedy Optimal Policy

• For any $s\in \mathcal{S}$, the deterministic greedy policy

  ${\pi }^{(}a\mid s)=\{\begin{array}{ll}1,& a=a^{(}s)\\ 0,& a\ne a^{(}s)\end{array}$

• is an optimal policy solving the BOE. Here,

  $\ast a^{(}s)=\arg {\max }_a{q}^{(}s,a),\ast$

• where $q^{(}s,a):={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v^{\ast }(s^{\prime })$

• Proof

  ${\pi }^{(}s)=\arg {\max }_{\pi }{\sum }_a\pi (a\mid s)\left({\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v^{(}{s}^{\prime })\right)$

对公式的概括

1. $v^{\ast }$ 的意义

   • $v^{\ast }$ 是一个“理想值表”，它告诉你：从每个状态出发，如果以后一直做出最优选择，能拿到的总回报是多少。

   • 它满足一个自洽的关系式（Bellman 最优性方程）：

     $v^{\ast }(s)={\max }_a[\text{即时奖励}+\gamma \times \text{未来价值}]$

2. ${\pi }^{\ast }$ 的意义

   • ${\pi }^{\ast }$ 是“最优策略”，它规定了：在每个状态下应该采取哪个动作，才能保证总回报不比任何其他策略差。
   • 从公式上看，${\pi }^{\ast }$ 就是选择能让 $v^{\ast }$ 达到最大的那个动作（也就是“贪心选择”）。

3. Policy Optimality 定理

   • 对于任意其他策略 $\pi$，它的价值函数 $v_{\pi }$ 都不会超过 $v^{\ast }$。
   • $v^{\ast }$ 是所有策略里能实现的最高水平，它一定支配所有其他策略的价值表。

4. Greedy Optimal Policy 定理

   • 只要你已经有了 $v^{\ast }$，那么直接在每个状态里“选那个让回报最大化的动作”就能得到 ${\pi }^{\ast }$。
   • 最优策略其实就是“贪心地”选动作，但前提是这个贪心是基于正确的 $v^{\ast }$。

更进一步的解释

1. 为什么要先有 $v^{\ast }$ 才能得到 ${\pi }^{\ast }$？
   • 因为 ${\pi }^{\ast }$ 的定义依赖于“未来回报”，而未来回报就是由 $v^{\ast }$ 描述的。
   • 一旦知道了 $v^{\ast }$，最优策略就能“顺理成章”地通过贪心法则推出来。
2. 为什么 $v^{\ast }$ 比任何 $v_{\pi }$ 都大？
   • $v_{\pi }$ 是“固定策略下”的表现。
   • $v^{\ast }$ 是在每一步都挑选最优动作的表现。
   • 显然，如果你随时都能选最好的动作，你的表现不可能比其他任何固定策略差。
3. 为什么贪心策略一定最优？
   • 因为 Bellman 方程已经保证了：在 $v^{\ast }$ 下，每个状态的最优价值都等于“选择最优动作”得到的回报。
   • 所以只要你在每个状态都执行这个“最优动作”，整个过程的价值函数自然等于 $v^{\ast }$。
   • 也就是说：贪心 + 正确的价值表 = 全局最优策略。

Analyzing optimal policies

What factors determine the optimal policy?

• It can be clearly seen from the BOE

  $v(s)={\max }_{\pi }{\sum }_a\pi (a\mid s)\left({\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v(s^{\prime })\right)$

• that there are three factors:

  • Reward design: $r$
  • System model: $p(s^{\prime }\mid s,a),p(r\mid s,a)$
  • Discount rate: $\gamma$

• In this equation, $v(s),v(s^{\prime }),\pi (a\mid s)$ are unknowns to be calculated.

Optimal Policy Invariance

• Consider a Markov decision process with $v^{\ast }\in {\mathbb{R}}^{|\mathcal{S}|}$ as the optimal state value satisfying

  $v^{\ast }={\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}^{\ast }).$

• If every reward $r$ is changed by an affine transformation to $ar+b$, where $a,b\in \mathbb{R}$ and $a\ne 0$, then the corresponding optimal state value $v^{\prime }$ is also an affine transformation of $v^{\ast }$:

  $v^{\prime }=a{v}^{\ast }+\frac{b}{1-\gamma }1,$

  • where $\gamma \in (0,1)$ is the discount rate and $1=[1,\dots ,1{]}^T$.

• Consequently, the optimal policies are invariant to the affine transformation of the reward signals.

---

总结

Bellman 最优性方程刻画了在所有策略中选择最优策略的价值函数，它保证存在唯一的最优状态价值 $v^{\ast }$，并且通过对每个状态下的动作取最大化（贪心原则）即可导出最优策略 ${\pi }^{\ast }$，同时最优策略的性质只依赖于奖励设计、环境转移模型和折扣因子，而对奖励的仿射变换保持不变。