《强化学习数学原理》学习笔记6——贝尔曼最优方程的压缩性质

紧接着贝尔曼最优方程以及压缩映射定理的内容，进一步证明贝尔曼最优方程右侧函数$f(v)$的压缩性。

一、定理阐述

我们要用压缩映射定理证明贝尔曼最优方程（BOE）中右侧的函数 $f(v)$ 是一个压缩映射。

$f(v)$ 的压缩性质：贝尔曼最优方程右侧的函数 $f(v)$ 是一个压缩映射。具体来说，对于任意 $v_1,v_2\in {\mathbb{R}}^{|\mathcal{S}|}$，有
$$\Vert f(v_1)-f(v_2){\Vert }_{\infty }\le \gamma \Vert v_1-v_2{\Vert }_{\infty }\text{\hspace{1em}(1)}$$
其中 $\gamma \in (0,1)$ 是折扣率，$\Vert \cdot {\Vert }_{\infty }$ 是无穷范数，即向量元素的最大绝对值。

该定理的证明在压缩映射定理中给出。这个定理很重要，因为我们可以用压缩映射定理来分析贝尔曼最优方程。

二、定理证明

考虑任意两个向量 $v_1,v_2\in {\mathbb{R}}^{|\mathcal{S}|}$，假设 ${\pi }_1^{\ast }\triangleq \arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_1)$ 且 ${\pi }_2^{\ast }\triangleq \arg {\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_2)$。那么：
$$\begin{array}{rl}f(v_1)& =\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_1)=r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_1\ge r_{{\pi }_2^{\ast }}+\gamma P_{{\pi }_2^{\ast }}{v}_1,\\ f(v_2)& =\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_2)=r_{{\pi }_2^{\ast }}+\gamma P_{{\pi }_2^{\ast }}{v}_2\ge r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_2\end{array}\text{\hspace{1em}(2)}$$
其中 $\ge$ 是按元素比较。因此：
$$\begin{array}{rl}f(v_1)-f(v_2)& =r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_1-(r_{{\pi }_2^{\ast }}+\gamma P_{{\pi }_2^{\ast }}{v}_2)\\ & \le r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_1-(r_{{\pi }_1^{\ast }}+\gamma P_{{\pi }_1^{\ast }}{v}_2)\\ & =\gamma P_{{\pi }_1^{\ast }}(v_1-v_2)\end{array}\text{\hspace{1em}(3)}$$

类似地，可以证明 $f(v_2)-f(v_1)\le \gamma P_{{\pi }_2^{\ast }}(v_2-v_1)$。因此：
$$\gamma P_{{\pi }_2^{\ast }}(v_1-v_2)\le f(v_1)-f(v_2)\le \gamma P_{{\pi }_1^{\ast }}(v_1-v_2)\text{\hspace{1em}(4)}$$

定义
$$z\triangleq \max \left\{|\gamma P_{{\pi }_2^{\ast }}(v_1-v_2)|,|\gamma P_{{\pi }_1^{\ast }}(v_1-v_2)|\right\}\in {\mathbb{R}}^{|\mathcal{S}|}\text{\hspace{1em}(5)}$$
其中 $\max (\cdot )$、$|\cdot |$ 和 $\ge$ 都是按元素操作的算子。根据定义，$z\ge 0$。一方面，由式（4）和（5）可以得出
$$-z\le \gamma P_{{\pi }_2^{\ast }}(v_1-v_2)\le f(v_1)-f(v_2)\le \gamma P_{{\pi }_1^{\ast }}(v_1-v_2)\le z\text{\hspace{1em}(6)}$$
这意味着
$$|f(v_1)-f(v_2)|\le z\text{\hspace{1em}(7)}$$

由此可得
$$\Vert f(v_1)-f(v_2){\Vert }_{\infty }\le \Vert z{\Vert }_{\infty }\text{\hspace{1em}(8)}$$
其中 $\Vert \cdot {\Vert }_{\infty }$ 是无穷范数。

另一方面，假设 $z_i$ 是 $z$ 的第 $i$ 个元素，$p_i^T$ 和 $q_i^T$ 分别是 $P_{{\pi }_1^{\ast }}$ 和 $P_{{\pi }_2^{\ast }}$ 的第 $i$ 行。那么：
$$z_i=\max \left\{|\gamma p_i^T(v_1-v_2)|,|\gamma q_i^T(v_1-v_2)|\right\}\text{\hspace{1em}(9)}$$

由于 $p_i$ 是所有元素非负且元素和为1的行向量，因此有
$$|p_i^T(v_1-v_2)|\le p_i^T|v_1-v_2|\le \Vert v_1-v_2{\Vert }_{\infty }\text{\hspace{1em}(10)}$$

类似地，我们有 $|q_i^T(v_1-v_2)|\le \Vert v_1-v_2{\Vert }_{\infty }$。因此，$z_i\le \gamma \Vert v_1-v_2{\Vert }_{\infty }$，进而
$$\Vert z{\Vert }_{\infty }=\underset{i}{\max }|z_i|\le \gamma \Vert v_1-v_2{\Vert }_{\infty }\text{\hspace{1em}(11)}$$

将这个不等式代入式（8）可得
$$\Vert f(v_1)-f(v_2){\Vert }_{\infty }\le \gamma \Vert v_1-v_2{\Vert }_{\infty }\text{\hspace{1em}(12)}$$
这就完成了对 $f(v)$ 压缩性质的证明。