强化学习的数学原理（四）Value iteration Policy iteration

由于全文太长，只好分开发了。(已完结！在专栏查看本系列其他文章）

个人博客可以直接看全文~

本系列为在学习赵世钰老师的“强化学习的数学原理” 课程后所作笔记。

课堂视频链接https://www.bilibili.com/video/BV1sd4y167NS/

第四章 Value iteration & Policy iteration

Value iteration algorithm(值迭代算法)

值迭代算法就是根据贝尔曼最优公式来迭代求解优化问题。

$v_{k+1}=f(v_k)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_{\pi })$

---

**求解步骤：**最开始生成一个任意的状态$v_0$ ,不断循环以下两步

1. policy update更新策略：${\pi }_{k+1}=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}_k)$
2. value update 更新值: $v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$

需要注意的是$v_k$ 只是一个值，并不是一个state value。

不断迭代直到$v_k-v_{k-1}$ 足够小就认为已经收敛了。

Policy iteration algorithm(策略迭代算法)

最开始生成一个任意策略${\pi }_0$

1. policy evalution(PE): $v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$
2. policy improvement(PI): ${\pi }_{k+1}=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$

整体过程即${\pi }_0\stackrel{PE}{\to }{v}_{{\pi }_0}\stackrel{PI}{\to }{\pi }_1\stackrel{PE}{\to }{v}_{{\pi }_1}\stackrel{PI}{\to }{\pi }_2\stackrel{PE}{\to }{v}_{{\pi }_2}\stackrel{PI}{\to }{\pi }_3....$

• 几个核心问题：

  1. 在policy evaluation中如何求解 state value？

  2. 为什么进行PI后， ${\pi }_{k+1}$比${\pi }_k$ 更优？

  3. 为什么最终能找到最优解？

  4. Policy iteration和Value iteration 有什么关系？

• Q1: 有两种方法(即求解贝尔曼公式的两种方法)：

  1. closed-form solution : $v_{{\pi }_k}=(I-\gamma P_{{\pi }_k}{)}^{-1}{r}_{{\pi }_k}$
  2. iterative solution: $v_{{\pi }_k}^{j+1}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,...$

  Q2: ${\pi }_{k+1}=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$ ，因为${\pi }_{k+1}$ 一定比${\pi }_k$ 要更大

  Q3：$v_{{\pi }_0}\le v_{{\pi }_1}\le v_{{\pi }_2}\le ...\le v_{{\pi }_k}\le v^{\ast }$

  Q4: 二者是两个极端

truncated policy iteration algorithm

他是值迭代算法和策略迭代算法的推广，值迭代算法和策略迭代算法是truncated policy iteration algorithm的极端情况。

Policy iteration: ${\pi }_0\stackrel{PE}{\to }{v}_{{\pi }_0}\stackrel{PI}{\to }{\pi }_1\stackrel{PE}{\to }{v}_{{\pi }_1}\stackrel{PI}{\to }{\pi }_2\stackrel{PE}{\to }{v}_{{\pi }_2}\stackrel{PI}{\to }{\pi }_3....$

Value iteration: $u_0\stackrel{PU}{\to }{\pi }_1^{\prime }\stackrel{VU}{\to }{u}_1\stackrel{PU}{\to }{\pi }_2^{\prime }\stackrel{VU}{\to }{u}_2...$

	Policy Iteration algorithm	Value iteration algorithm	Comments
1）Policy：	${\pi }_0$	N/A
2) Value:	$v_{{\pi }_0}=r_{{\pi }_0}+\gamma P_{{\pi }_0}{v}_{{\pi }_0}$	$v_0:=v_{{\pi }_0}$
3) Policy:	${\pi }_1=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_0})$	${\pi }_1=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}_0)$	两个算法的第一步Policy是相同的。
4) Value:	KaTeX parse error: Invalid color: ' #FF0000' at position 52: …i_1} \textcolor{̲ ̲#̲F̲F̲0̲0̲0̲0̲}̲{v_{\pi_1}}	KaTeX parse error: Invalid color: ' #FF0000' at position 45: …pi_1}\textcolor{̲ ̲#̲F̲F̲0̲0̲0̲0̲}̲{v_0}	两个算法求$v_{\pi }$ 的方法是不一样的
5）Policy：	${\pi }_2=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_1})$	${\pi }_2^{\prime }=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}_1)$
…	…	…	…

区别在于计算$v_{{\pi }_1}$的时候是使用贝尔曼公式求，还是直接继承上一步的求法。

考虑公式$v_{{\pi }_1}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}$
KaTeX parse error: Invalid color: ' #FF0000' at position 143: …ion\ \textcolor{̲ ̲#̲F̲F̲0̲0̲0̲0̲}̲{v_1}\\ v_{\pi_…
可以发现，value iteration就是在得到第一个$v$ 后就进行下一步操作；policy iteration则是不断你迭代直到收敛。 那么 truncated policy iteraion则是二者的结合，选择在中间的某一步停下。