RL【4】：Value Iteration and Policy Iteration

系列文章目录

---

---

前言

本系列文章主要用于记录 B站 赵世钰老师的【强化学习的数学原理】的学习笔记，关于赵老师课程的具体内容，可以移步：
B站视频：【【强化学习的数学原理】课程：从零开始到透彻理解（完结）】
GitHub 课程资料：Book-Mathematical-Foundation-of-Reinforcement-Learning

---

Value iteration algorithm

How to solve the Bellman optimality equation?

$v=f(v)={\max }_{\pi }\left(r_{\pi }+\gamma P_{\pi }v\right)$

这表明：

• $v^{\ast }(s)$ 表示从状态 $s$ 出发，遵循最优策略时的价值（期望回报）。
• 每个状态的最优价值是通过 选择最优动作（最大化）来决定的。

We know that the contraction mapping theorem suggests an iterative algorithm:

$v_{k+1}=f(v_k)={\max }_{\pi }\left(r_{\pi }+\gamma P_{\pi }{v}_k\right),k=1,2,3,\dots$

where $v_0$ can be arbitrary.

This algorithm can eventually find the optimal state value and an optimal policy, which is called value iteration.

The algorithm can be decomposed into two steps.

• Step 1: policy update.

  • This step is to solve

    ${\pi }_{k+1}=\arg {\max }_{\pi }\left(r_{\pi }+\gamma P_{\pi }{v}_k\right),$

  • where $v_k$ is given.

含义：在第 $k$ 次迭代时，给定当前的价值函数估计 $v_k$，选择一个 最优策略 ${\pi }_{k+1}$。

直观理解：这是一个“贪心选择”步骤 —— 在当前价值估计下，挑选最优的动作。

• Step 2: value update.

  $v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$

含义：利用刚刚得到的 新策略 ${\pi }_{k+1}$，更新状态价值函数。

直观理解：这一步是“重新计算价值”，即“在新的策略下，我的回报有多少？”。

• Question: Is $v_k$ a state value?
  • No, because it is not ensured that $v_k$ satisfies a Bellman equation.

Value iteration algorithm - Elementwise form

• Step 1: Policy update

  • The elementwise form of

    ${\pi }_{k+1}=\arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_k)$

  • is

    ${\pi }_{k+1}(s)=\arg {\max }_{\pi }{\sum }_a\pi (a\mid s)\left({\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_k(s^{\prime })\right),s\in \mathcal{S}.$

    ${\pi }_{k+1}(s)=\arg {\max }_{\pi }{\sum }_a\pi (a\mid s)q_k(s,a),s\in \mathcal{S}.$

  • The optimal policy solving the above optimization problem is

    ${\pi }_{k+1}(a\mid s)=\{\begin{array}{ll}1,& a=a_k^{\ast }(s)\\ 0,& a\ne a_k^{\ast }(s)\end{array}$

  • where $a^{\ast }k(s)=\arg {\max }_a{q}_k(s,a)$. $\pi k+1$ is called a greedy policy, since it simply selects the greatest q-value.

  $q_k(s,a)$ 就是在状态 $s$ 采取动作 $a$ 后得到的 Q 值（即时奖励 + 折扣未来价值）。

  • 含义：在状态 $s$，新策略 ${\pi }_{k+1}$ 选择的动作是能让 Q 值最大的那个。
  • 结果：得到的最优策略是“确定性策略”（deterministic policy）

  ${\pi }_{k+1}$ 就是一个 贪心策略（greedy policy） —— 在每个状态下，选择当下 Q 值最大的动作。

• Step 2: Value update

  • The elementwise form of

    $v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$

  • is

    $v_{k+1}(s)={\sum }_a{\pi }_{k+1}(a\mid s)\left({\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_k(s^{\prime })\right),s\in \mathcal{S}.$

    $v_{k+1}(s)={\sum }_a{\pi }_{k+1}(a\mid s)q_k(s,a),s\in \mathcal{S}.$

  • Since ${\pi }_{k+1}$ is greedy, the above equation is simply

    $v_{k+1}(s)={\max }_a{q}_k(s,a).$

  含义：新的状态价值函数 $v_{k+1}$，就是在每个状态下选择能获得最大回报的动作对应的 Q 值。

  直观理解：价值函数不断逼近“最优价值”，每次迭代都在向 Bellman 最优性方程靠近。

Step 1（Policy Update）：用 $v_k$ 找出一个贪心策略 ${\pi }_{k+1}$，即在每个状态下挑选 Q 值最大的动作。

Step 2（Value Update）：用新策略 ${\pi }_{k+1}$ 更新 $v_{k+1}$，但因为策略是贪心的，结果直接等价于取 ${\max }_a{q}_k(s,a)$。

Value iteration algorithm - Pseudocode

• Procedure summary

  $v_k(s)\to q_k(s,a)\to \text{greedy policy }{\pi }_{k+1}(a\mid s)\to \text{new value }{v}_{k+1}(s)={\max }_a{q}_k(s,a)$

  值迭代的核心循环：

  1. 先用当前的 状态价值函数 $v_k(s)$ 去算 动作价值函数 $q_k(s,a)$；
  2. 再根据 $q_k(s,a)$ 选出“贪心策略” ${\pi }_{k+1}$；
  3. 用该策略更新状态价值，得到新的 $v_{k+1}$；
  4. 重复直到收敛。

• Pseudocode

  • Initialization: The probability model $p(r\mid s,a)$ and $p(s^{\prime }\mid s,a)$ for all $(s,a)$ are known. Initial guess $v_0$.

    已知环境的概率模型：

    • 转移概率 $p(s^{\prime }\mid s,a)$：在状态 $s$ 采取动作 $a$ 后到达 $s^{\prime }$ 的概率。
    • 奖励概率 $p(r\mid s,a)$：在状态 $s$ 采取动作 $a$ 得到奖励 $r$ 的概率。
    • 给定一个初始猜测 $v_0$，比如全零向量。相当于“开始时随便猜一个状态值表”

  • Aim: Search the optimal state value and an optimal policy solving the Bellman optimality equation.

    目标是找到：

    • 最优状态价值函数 $v^{\ast }$
    • 最优策略 ${\pi }^{\ast }$

    它们满足 Bellman 最优性方程。

  • While $v_k$ has not converged in the sense that $\Vert v_k-v_{k-1}\Vert$ is greater than a predefined small threshold, for the $k$-th iteration, do

    • For every state $s\in \mathcal{S}$, do

      • For every action $a\in \mathcal{A}(s)$, do

        q-value: $q_k(s,a)={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_k(s^{\prime })$

      • Maximum action value: $a_k^{\ast }(s)=\arg {\max }_a{q}_k(s,a)$

      • Policy update: ${\pi }_{k+1}(a\mid s)=\{\begin{array}{ll}1,& a=a_k^{\ast }(s),\\ 0,& \text{otherwise}\end{array}$

      • Value update: $v_{k+1}(s)={\max }_a{q}_k(s,a)$

    收敛条件：

    • 当 $|v_k-v_{k-1}|$ 小于一个阈值，停止迭代。
    • 即“新旧价值函数差别非常小”，说明学到的 $v_k$ 已经接近最优 $v^{\ast }$。

    总体解释

    • Value Iteration 就是不断交替：
      • 用当前 $v_k$ 算 $q_k(s,a)$
      • 从 $q_k(s,a)$ 中提取最优策略
      • 用该策略更新 $v_{k+1}$
    • 每次迭代都在逼近最优解 $v^{\ast }$ 和 ${\pi }^{\ast }$。
    • 收敛后，$v_k\approx v^{\ast }$，${\pi }_k\approx {\pi }^{\ast }$。

Policy iteration algorithm

Algorithm description

• Given a random initial policy ${\pi }_0$,

  • Step 1: policy evaluation (PE)

    • This step is to calculate the state value of ${\pi }_k$:

      $v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$

    • Note that $v_{{\pi }_k}$ is a state value function.

    含义：

    • 给定当前策略 ${\pi }_k$，我们要算出它的 状态价值函数 $v_{{\pi }_k}$。
    • 这相当于问：如果一直遵循策略 ${\pi }_k$，每个状态 $s$ 的长期累计回报是多少？

    结果：得到 $v_{{\pi }_k}$，即该策略下的价值函数。

  • Step 2: policy improvement (PI)

    ${\pi }_{k+1}=\arg {\max }_{\pi }\left(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k}\right)$

    • The maximization is componentwise!

    含义：

    • 在已知 $v_{{\pi }_k}$ 的情况下，找到一个更好的策略 ${\pi }_{k+1}$。
    • 具体来说，在每个状态 $s$，我们选择那个能使“即时奖励 + 折扣未来回报”最大的动作。

    注意：

    • “maximization is componentwise” 意味着：对于 每个状态 $s$，单独选择一个最优动作，而不是一次性全局最大化。
    • 因此 ${\pi }_{k+1}$ 通常是一个 贪心策略，即在每个状态下都选择当前看来最优的动作。

• The algorithm leads to a sequence

  ${\pi }_0\stackrel{PE}{\to }{v}_{{\pi }_0}\stackrel{PI}{\to }{\pi }_1\stackrel{PE}{\to }{v}_{{\pi }_1}\stackrel{PI}{\to }{\pi }_2\stackrel{PE}{\to }{v}_{{\pi }_2}\stackrel{PI}{\to }\cdots$

  • where PE = policy evaluation, PI = policy improvement.

直观理解

• PE 步骤：问“如果我老老实实按照当前策略走，能得到多少回报？”
• PI 步骤：想“那如果我稍微贪心一点，在某些状态换个更优动作，会不会更好？”

Q & A

• Q1: In the policy evaluation step, how to get the state value $v_{{\pi }_k}$ by solving the Bellman equation?

  • The Bellman equation for policy ${\pi }_k$ is

    $v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}.$

  • Closed-form solution:

    $v_{{\pi }_k}=(I-\gamma P_{{\pi }_k}{)}^{-1}{r}_{{\pi }_k}.$

  • Iterative solution:

    $v_{{\pi }_k}^{(j+1)}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,\dots$

  • Policy iteration is an iterative algorithm with another iterative algorithm embedded in the policy evaluation step!

• Q2: In the policy improvement step, why is the new policy ${\pi }_{k+1}$ better than ${\pi }_k$?

  • Lemma: Policy Improvement

    • If

      ${\pi }_{k+1}=\arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k}),$

    • then

      $v_{{\pi }_{k+1}}\ge v_{{\pi }_k},\forall k.$

• Q3: Why such an iterative algorithm can finally reach an optimal policy?

  • Since every iteration improves the policy, we know

    $v_{{\pi }_0}\le v_{{\pi }_1}\le v_{{\pi }_2}\le \cdots \le v_{{\pi }_k}\le \cdots \le v^{\ast }.$

  • As a result, $v_{{\pi }_k}$ keeps increasing and will converge.

  • Theorem: Convergence of Policy Iteration

    • The state value sequence {vπk}k=0∞\{v_{\pi_k}\}_{k=0}^{\infty}{vπk​​}k=0∞​ generated by the policy iteration algorithm converges to the optimal state value $v^{\ast }$.
    • As a result, the policy sequence {πk}k=0∞\{\pi_k\}_{k=0}^{\infty}{πk​}k=0∞​ converges to an optimal policy.

• Q4: What is the relationship between this policy iteration algorithm and the previous value iteration algorithm?

  • Related to the answer to Q3

Policy iteration algorithm - Elementwise form

• Step 1: Policy Evaluation

  • Matrix-vector form:

    $v_{{\pi }_k}^{(j+1)}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,\dots$

  • Elementwise form:

    $v_{\pi_k}^{(j+1)}(s) = \sum_a \pi_k(a \mid s)
    \Bigg( \sum_r p(r \mid s,a) r

    • \gamma \sum_{s’} p(s’ \mid s,a) v_{\pi_k}^{(j)}(s’) \Bigg),
      \quad s \in \mathcal{S}.$
    • Stop when $j\to \infty$ or $j$ is sufficiently large, or $\Vert v_{{\pi }_k}^{(j+1)}-v_{{\pi }_k}^{(j)}\Vert$ is sufficiently small.

  通过不断迭代更新 $v_{{\pi }_k}$，最终能收敛到该策略下的真实价值函数 $v_{{\pi }_k}$。

• Step 2: Policy Improvement

  • Matrix-vector form:

    ${\pi }_{k+1}=\arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$

  • Elementwise form:

    ${\pi }_{k+1}(s)=\arg {\max }_{\pi }{\sum }_a\pi (a\mid s)({\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_{{\pi }_k}(s^{\prime })),s\in \mathcal{S}.$

    • Here, $q_{{\pi }_k}(s,a)$ is the action value under policy ${\pi }_k$. Let

      $a_k^{\ast }(s)=\arg {\max }_a{q}_{{\pi }_k}(s,a).$

    • Then, the greedy policy is

      ${\pi }_{k+1}(a\mid s)=\{\begin{array}{ll}1,& a=a_k^{\ast }(s)\\ 0,& a\ne a_k^{\ast }(s).\end{array}$

  给定 $v_{{\pi }_k}$，我们寻找新的策略 ${\pi }_{k+1}$，使得每个状态下的长期回报最大化。

整体理解

1. 策略评估 (PE)：计算“在当前策略 ${\pi }_k$ 下，每个状态的价值是多少”。用迭代公式逼近，直到收敛。
2. 策略改进 (PI)：基于当前 $v_{{\pi }_k}$，在每个状态挑选更优动作，从而得到新策略 ${\pi }_{k+1}$。

• Pseudocode: Policy Iteration Algorithm

  • Initialization: The probability model $p(r\mid s,a)$ and $p(s^{\prime }\mid s,a)$ for all $(s,a)$ are known. Initial guess ${\pi }_0$.

  已知环境的概率模型：

  • 奖励分布 $p(r\mid s,a)$：在状态 $s$ 执行动作 $a$ 时得到奖励 $r$ 的概率。
  • 转移分布 $p(s^{\prime }\mid s,a)$：在状态 $s$ 执行动作 $a$ 后转移到状态 $s^{\prime }$ 的概率。

  随机初始化一个策略 ${\pi }_0$（比如在每个状态随机选择动作）。

  • Aim: earch for the optimal state value and an optimal policy.

  目标是找到：

  • 最优状态价值函数 $v^{\ast }$
  • 最优策略 ${\pi }^{\ast }$

  即满足 Bellman 最优性方程的解。

  • While the policy has not converged, for the $k$-th iteration, do

    • Policy evaluation:

      • Initialization: an arbitrary initial guess $v_{{\pi }_k}^{(0)}$.
      • While $v_{{\pi }_k}^{(j)}$ has not converged, for the $j$-th iteration, do

        • For every state $s\in \mathcal{S}$, do

          $v_{{\pi }_k}^{(j+1)}(s)={\sum }_a{\pi }_k(a\mid s)[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_{{\pi }_k}^{(j)}(s^{\prime })],$

    • Policy improvement:

      • For every state $s\in \mathcal{S}$, do

        $q_{{\pi }_k}(s,a)={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_{{\pi }_k}(s^{\prime }),$

        • $a_k^{\ast }(s)=\arg {\max }_{a}q{\pi }_k(s,a),$
        • ${\pi }_{k+1}(a\mid s)=1$ if $a=a_k^{\ast }(s)$, and $\ast {\pi }_{k+1}(a\mid s)=0$* otherwise

  含义：

  • PE：在固定策略 ${\pi }_k$ 下，不断迭代，直到算出该策略的真实状态价值函数 $v_{{\pi }_k}$
  • PI：根据 $v_{{\pi }_k}$ 的评估结果，把策略改进为“在每个状态总是选择当前看起来最优的动作”。

  收敛过程

  如果在某次迭代后，策略不再变化（${\pi }_{k+1}={\pi }_k$），说明我们已经找到了 最优策略 ${\pi }^{\ast }$，对应的 $v_{{\pi }^{\ast }}$ 就是最优状态价值函数 $v^{\ast }$。

Truncated policy iteration algorithm

Compare value iteration and policy iteration

• Elementwise form

  • Policy Iteration

    • Step 1: Policy Evaluation

      $v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$

    • Step 2: Policy Improvement

      ${\pi }_{k+1}=\arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$

  • Value iteration: start from $v_0$

    • Step 1: Policy update (PU)

      ${\pi }_{k+1}=\arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$

    • Step 2: Value update (VU)

      $v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$

• The two algorithms are very similar:

  • Policy iteration

    ${\pi }_0\stackrel{PE}{\to }{v}_{{\pi }_0}\stackrel{PI}{\to }{\pi }_1\stackrel{PE}{\to }{v}_{{\pi }_1}\stackrel{PI}{\to }{\pi }_2\stackrel{PE}{\to }{v}_{{\pi }_2}\stackrel{PI}{\to }\cdots$

  • Value iteration

    $u_0\stackrel{PU}{\to }{\pi }_1^{\prime }\stackrel{VU}{\to }{u}_1\stackrel{PU}{\to }{\pi }_2^{\prime }\stackrel{VU}{\to }{u}_2\stackrel{PU}{\to }\cdots$

  • Where

    • PE = policy evaluation, PI = policy improvement.
    • PU = policy update, VU = value update.

两个算法的直观理解

• Policy Iteration：每次都把 $v_{{\pi }_k}$ 评估到精确解，再更新策略 → 收敛快，但每次评估开销大。
• Value Iteration：不用精确求解 $v_{\pi }$，而是一步步更新 $v_k$ → 每步轻量，但收敛要更多迭代。

相同点

• 两者都基于 Bellman 最优性方程。
• 都是交替进行“价值更新”和“策略改进”，最终收敛到最优策略 ${\pi }^{\ast }$ 和最优状态价值 $v^{\ast }$。

不同点

1. Policy Iteration (PI)

   • 策略评估 (PE)：

     每次迭代时，都要把 $v_{{\pi }_k}$ 精确算出来（即解方程 $v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$）。

   • 策略改进 (PI)：

     在已知精确 $v_{{\pi }_k}$ 的情况下，更新策略 ${\pi }_{k+1}$。

   • 特点：

     • 每次迭代“算得很准”，所以只需很少迭代就能收敛。
     • 但每一步代价高，因为需要解大规模线性方程组（或迭代到精确解）。

   • 适用场景：状态空间比较小，可以承担“每次精确评估”的计算量。

2. Value Iteration (VI)
   • 策略更新 (PU) + 价值更新 (VU)：
     • 不去精确求解 $v_{{\pi }_k}$；
     • 而是从 $v_k$ 出发，先用它生成贪心策略 ${\pi }_{k+1}$，再只做一次价值更新
   • 特点：
     • 每一步计算量小（只做一步 Bellman 更新）。
     • 需要更多迭代才能收敛。
   • 适用场景：状态空间很大，无法每次都精确解策略评估，只能渐进更新。

• Let’s compare the steps carefully:

  • They start from the same initial condition.

    • In policy iteration, solving $v_{{\pi }_1}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}$ requires an iterative algorithm (an infinite number of iterations).
    • In value iteration, $v_1=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_0$ is a one-step iteration.

  • Consider the step of solving $v_{{\pi }_1}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}$ :

    $v_{{\pi }_1}^{(0)}=v_0$

    $\text{Value iteration}\leftarrow v_1\leftarrow v_{{\pi }_1}^{(1)}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(0)}$

    $v_{{\pi }_1}^{(2)}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(1)}$

    $\cdots$

    $\text{Truncated policy iteration}\leftarrow \bar{v}1\leftarrow v{{\pi }_1}^{(j)}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(j-1)}$

    $\cdots$

    $\text{Policy iteration}\leftarrow v_{{\pi }_1}\leftarrow v_{{\pi }_1}^{(\infty )}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(\infty )}$

  • Where

    • The value iteration algorithm computes once.
    • The policy iteration algorithm computes an infinite number of iterations.
    • The truncated policy iteration algorithm computes a finite number of iterations (say $j$). The rest iterations from $j$ to $\infty$ are truncated.

Pseudocode: Truncated policy iteration algorithm

背景

• Policy Iteration (PI) 的核心是两步：
  1. 策略评估 (Policy Evaluation, PE)：精确求解当前策略 ${\pi }_k$ 的状态价值 $v_{{\pi }_k}$。
  2. 策略改进 (Policy Improvement, PI)：基于 $v_{{\pi }_k}$，更新得到更优的策略 ${\pi }_{k+1}$。
• 但是 策略评估如果做到精确，需要反复迭代直到收敛，计算开销很大。
• 为了加快速度，可以只做有限步的近似评估，这就得到 截断策略迭代 (Truncated Policy Iteration, TPI)。

它本质上是 Policy Iteration 和 Value Iteration 的折中方法。

• Initialization: The probability model $p(r\mid s,a)$ and $p(s^{\prime }\mid s,a)$ for all $(s,a)$ are known. Initial guess ${\pi }_0$.

初始化

• 已知环境模型：奖励分布 $p(r|s,a)$ 和转移分布 $p(s^{\prime }|s,a)$。
• 初始化一个随机策略 ${\pi }_0$。

• Aim: Search for the optimal state value and an optimal policy.
• While the policy has not converged, for the $k$-th iteration, do

  • Policy evaluation:

    • Initialization: select the initial guess as $v_k^{(0)}=v_{k-1}$. The maximum iteration is set to be $j_{\text{truncate}}$.
    • While $j<j_{\text{truncate}}$, do

      • For every state $s\in \mathcal{S}$, do

        $v_k^{(j+1)}(s)={\sum }_a{\pi }_k(a\mid s)[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_k^{(j)}(s^{\prime })]$

      • Set $v_k=v_k^{(j_{\text{truncate}})}$.

    Truncated Policy Evaluation

    • 初始化 $v_k^{(0)}=v_{k-1}$（即用上一次迭代的结果作为初始猜测）。

    • 设置最大迭代次数 $j_{\text{truncate}}$。

    • 执行有限次迭代：

      $v_k^{(j+1)}(s)={\sum }_a{\pi }_k(a\mid s)[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s’}p(s’\mid s,a)v_k^{(j)}(s’)]$

    • 迭代 $j_{\text{truncate}}$ 次后，得到近似的 $v_k\approx v_{{\pi }_k}$。

    • 与完全的策略评估不同，这里并没有等 $v_{{\pi }_k}^{(j)}$ 收敛，而是 提前截断。

  • Policy improvement:

    • For every state $s\in \mathcal{S}$, do

      $q_k(s,a)={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p(s^{\prime }\mid s,a)v_k(s^{\prime }),$

      • $a_k^{\ast }(s)=\arg {\max }_a{q}_k(s,a),$
      • ${\pi }_{k+1}(a\mid s)=1$ if $a=a_k^{\ast }(s)$, and ${\pi }_{k+1}(a\mid s)=0$ otherwisde

    Policy improvement

    • 对于每个状态 $s$，先计算所有动作的 $q$ 值：

      $q_k(s,a)={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s’}p(s’\mid s,a)v_k(s’)$

    • 选择最优动作：

      $a_k^{\ast }(s)=\arg {\max }_a{q}_k(s,a)$

    • 更新策略：

      ${\pi }_{k+1}(a\mid s)=\{\begin{array}{ll}1,& a=a_k^{(s)}\\ 0,& a\ne a_k^{(s)}\end{array}$

Convergence

Proposition (Value Improvement)

• Consider the iterative algorithm for solving the policy evaluation step:

  $v_{{\pi }_k}^{(j+1)}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,\dots$

• If the initial guess is selected as $v_{{\pi }_k}^{(0)}=v_{{\pi }_{k-1}}$, it holds that

  $v_{{\pi }_k}^{(j+1)}\ge v_{{\pi }_k}^{(j)}$

  • for every $j=0,1,2,\dots$

总体理解

• Policy Iteration：每次都精确解 $v_{{\pi }_k}$ → 每步开销大，但收敛迭代次数少。
• Value Iteration：每次只做一步价值更新 → 每步轻量，但收敛迭代次数多。
• Truncated Policy Iteration：折中方法，每次只做有限步（$j_{\text{truncate}}$ 次）价值迭代。
  • $j_{\text{truncate}}$ 大 → 更像 Policy Iteration；
  • $j_{\text{truncate}}$ 小 → 更像 Value Iteration。

---

总结

截断策略迭代（TPI）在策略评估时只做有限次更新，用计算开销和收敛速度做折中，$j_{\text{truncate}}$ 越大越像 Policy Iteration，越小越像 Value Iteration。