深度强化学习 | 详细推导随机/确定性策略梯度定理

0 专栏介绍

本专栏以贝尔曼最优方程等数学原理为根基，结合PyTorch框架逐层拆解DRL的核心算法(如DQN、PPO、SAC)逻辑。针对机器人运动规划场景，深入探讨如何将DRL与路径规划、动态避障等任务结合，包含仿真环境搭建、状态空间设计、奖励函数工程化调优等技术细节，旨在帮助读者掌握深度强化学习技术在机器人运动规划中的实战应用

🚀详情：《运动规划实战精讲：深度强化学习篇》

---

1 基于策略优化的强化学习

之前章节介绍的基于价值的强化学习具有以下缺陷：

• 难以处理连续动作。基于价值的强化学习要求有限动作空间，否则需要额外补丁；
• 无法生成随机策略。基于价值的强化学习本质上通过${\pi }^{\ast }=\arg {\max }_{a\in A}{Q}^{\pi }\left(s,a\right)$从最优价值获得最优的确定性策略，而某些场合却需要随机策略；
• 鲁棒性不足。强化学习获得的最优价值函数数值可能不稳定，某状态下两个动作间的价值差距可能处在较大，意味着微小的噪声可能导致最优策略的完全改变；

在基于策略的强化学习(policy-based)框架中，智能体不再从价值函数间接获得策略，而是直接对策略$$\pi \left(a|s\right)$$这一条件概率分布建模(离散动作常用Softmax函数，连续动作常用高斯概率分布)，改善了value-based强化学习模型的不足。

为了便于神经网络反向传播，需要计算策略的梯度。将策略参数化为${\pi }_{\mathbf{\theta }}\left(\mathbf{a}|\mathbf{s}\right)$，定义优化目标为累计回报

$${\mathbf{\theta }}^{\ast }=\arg \underset{\mathbf{\theta }}{\max }J\left(\mathbf{\theta }\right)=\arg \underset{\mathbf{\theta }}{\max }{V}^{{\pi }_{\mathbf{\theta }}}\left(s\right)$$

即给定初始状态$\mathbf{s}$，需要调整$\mathbf{\theta }$使策略${\pi }_{\mathbf{\theta }}$作用于$\mathbf{s}$使其带来的回报最大。关于$\mathbf{\theta }$的优化方式为策略梯度定理

2 随机性策略梯度定理推导

定理1：策略梯度满足
$${\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s}\right)\propto \mathbb{E}\left[Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}\left(\mathbf{a}|\mathbf{s}\right)\right]$$
其中状态随机变量$\mathbf{s}\sim D^{{\pi }_{\mathbf{\theta }}}$，动作随机变量$\mathbf{a}\sim {\pi }_{\mathbf{\theta }}\left(\mathbf{a}|\mathbf{s}\right)$，$D^{{\pi }_{\mathbf{\theta }}}$是由${\pi }_{\mathbf{\theta }}$定义的归一化折扣状态分布。

证明： 根据全概率公式有

$$V^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s}\right)=\sum _{\mathbf{a}\in A}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right)$$

代入$$Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right)={\sum }_{{\mathbf{s}}^{\prime }\in S}^{}{P}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{\mathbf{a}}\left(R_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{\mathbf{a}}+\gamma V^{{\pi }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime }\right)\right)$$后两边同时求梯度

$$\begin{array}{rl}{\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s}\right)& =\sum _{\mathbf{a}\in A}\left({\nabla }_{\mathbf{\theta }}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right)+{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right){\nabla }_{\mathbf{\theta }}{Q}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right)\right)\\ & =\sum _{\mathbf{a}\in A}{\nabla }_{\mathbf{\theta }}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right)+\gamma \sum _{\mathbf{a}\in A}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\sum _{{\mathbf{s}}^{\prime }\in S}{P}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{\mathbf{a}}{\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime }\right)\end{array}$$

这里导出了由${\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(s\right)$到下一个状态${\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(s^{\prime }\right)$的递推公式

$$\begin{gathered} {\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s}\right)=\underset{①}{\underbrace{\sum _{\mathbf{a}\in A}{\nabla }_{\mathbf{\theta }}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right)}}+\underset{②}{\underbrace{\gamma \sum _{\mathbf{a}\in A}\begin{array}{c}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\end{array}\sum _{{\mathbf{s}}^{\prime }\in S}\begin{array}{c}{P}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{\mathbf{a}}\end{array}\sum _{{\mathbf{a}}^{\prime }\in A}{\nabla }_{\mathbf{\theta }}{\pi }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)Q^{{\pi }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)}} \\ +{\gamma }^2\sum _{\mathbf{a}\in A}\begin{array}{c}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\end{array}\sum _{{\mathbf{s}}^{\prime }\in S}\begin{array}{c}{P}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{\mathbf{a}}\end{array}\sum _{{\mathbf{a}}^{\prime }\in A}{\pi }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)\sum _{{\mathbf{s}}^{\prime \prime }\in S}{P}_{{\mathbf{s}}^{\prime }\to {\mathbf{s}}^{\prime \prime }}^{{\mathbf{a}}^{\prime }}\left(\cdots \right) \end{gathered}$$

定义在策略$\pi$作用下从初始状态$\mathbf{s}$经$t$步转移到${\mathbf{s}}^{\prime }$的状态转移概率为

$$Pr\left(\mathbf{s}\to {\mathbf{s}}^{\prime },t,\pi \right)$$

考察①式可得

$$①=\sum _{{\mathbf{s}}^{\prime }\in S}Pr\left(\mathbf{s}\to {\mathbf{s}}^{\prime },0,{\pi }_{\mathbf{\theta }}\right)\sum _{\mathbf{a}\in A}{\nabla }_{\mathbf{\theta }}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right)$$

考察②式可得

$$②=\gamma \sum _{{\mathbf{s}}^{\prime }\in S}Pr\left(\mathbf{s}\to {\mathbf{s}}^{\prime },1,{\pi }_{\mathbf{\theta }}\right)\sum _{{\mathbf{a}}^{\prime }\in A}{\nabla }_{\mathbf{\theta }}{\pi }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)Q^{{\pi }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)$$

按规律递推可得

$${\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s}\right)=\sum _t{\gamma }^t\sum _{{\mathbf{s}}^{\prime }\in S}Pr\left(\mathbf{s}\to {\mathbf{s}}^{\prime },t,{\pi }_{\mathbf{\theta }}\right)\sum _{{\mathbf{a}}^{\prime }\in A}{\nabla }_{\mathbf{\theta }}{\pi }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)Q^{{\pi }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)$$

设由策略$\pi$诱导的折扣状态分布(discounted state distribution)为

$$d^{\pi }\left(\mathbf{s}\right)=\sum _t{\gamma }^{t}Pr\left({\mathbf{s}}_0\to \mathbf{s},t,\pi \right)$$

考虑到

$$\sum _{\mathbf{s}}{d}^{\pi }\left(\mathbf{s}\right)=\sum _t{\gamma }^t\sum _{\mathbf{s}}Pr\left({\mathbf{s}}_0\to \mathbf{s},t,\pi \right)=\sum _t{\gamma }^t=\frac{1}{1-\gamma }$$

所以$d^{\pi }\left(\mathbf{s}\right)$并不是一个概率分布，需要补偿系数$\left(1-\gamma \right)$得到归一化折扣分布

$$D^{\pi }\left(\mathbf{s}\right)=\left(1-\gamma \right)d^{\pi }\left(\mathbf{s}\right)$$

从而

$$\begin{gathered} {\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s}\right)=\frac{1}{1-\gamma }{\mathbb{E}}_{\begin{array}{c}\mathbf{s}{D}^{{\pi }_{\mathbf{\theta }}}\end{array}}\left[\sum _{{\mathbf{a}}^{\prime }\in A}{\pi }_{\mathbf{\theta }}\left(\mathbf{s},{\mathbf{a}}^{\prime }\right){\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}\left(\mathbf{s},{\mathbf{a}}^{\prime }\right)Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},{\mathbf{a}}^{\prime }\right)\right] \\ \propto {\mathbb{E}}_{\begin{array}{c}\mathbf{s}{D}^{{\pi }_{\mathbf{\theta }}}\end{array},\mathbf{a}{\pi }_{\mathbf{\theta }}}\left[Q^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\right] \end{gathered}$$

证毕

3 确定性策略梯度定理推导

**定理2：**策略梯度满足
$${\nabla }_{\mathbf{\theta }}{V}^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s}\right)\propto \mathbb{E}\left[{\nabla }_{\mathbf{\theta }}{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right){\nabla }_{\mathbf{a}}{Q}^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\mid }_{\mathbf{a}={\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}^{}\right]$$
其中状态随机变量$\mathbf{s}\sim D^{{\mu }_{\mathbf{\theta }}}$，动作$\mathbf{a}={\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)$，$D^{{\mu }_{\mathbf{\theta }}}$是由${\mu }_{\mathbf{\theta }}$定义的归一化折扣状态分布。

证明： 与随机策略梯度定理证明不同，确定性策略导致价值函数和动作-价值函数的等价性

$$V^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s}\right)=Q^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\mid }_{\mathbf{a}={\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}^{}=r\left(\mathbf{s},{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)\right)+\gamma \sum _{{\mathbf{s}}^{\prime }\in S}{P}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}{V}^{{\mu }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime }\right)$$

其中$$r\left(\mathbf{s},{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)\right)={\sum }_{{\mathbf{s}}^{\prime }\in S}^{}{P}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}{R}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}$$是单步奖赏函数。根据复合函数链式求导法则

$${\nabla }_{\mathbf{\theta }}{V}^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s}\right)={\nabla }_{\mathbf{a}}{Q}^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\mid }_{\mathbf{a}={\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}^{}{\nabla }_{\mathbf{\theta }}{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)+\gamma \sum _{{\mathbf{s}}^{\prime }\in S}{P}_{\mathbf{s}\to {\mathbf{s}}^{\prime }}^{{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}{\nabla }_{\mathbf{\theta }}{V}^{{\mu }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime }\right)$$

接着按照随机策略梯度定理证明过程中的递推展开可得

$${\nabla }_{\mathbf{\theta }}{V}^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s}\right)=\sum _t{\gamma }^t\sum _{{\mathbf{s}}^{\prime }\in S}Pr\left(\mathbf{s}\to {\mathbf{s}}^{\prime },t,{\mu }_{\mathbf{\theta }}\right){\nabla }_{\mathbf{a}}{Q}^{{\mu }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime },\mathbf{a}\right){\mid }_{\mathbf{a}={\mu }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime }\right)}^{}{\nabla }_{\mathbf{\theta }}{\mu }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime }\right)$$

引入归一化折扣分布可得

$$\begin{gathered} {\nabla }_{\mathbf{\theta }}{V}^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s}\right)=\frac{1}{1-\gamma }\sum _{{\mathbf{s}}^{\prime }\in S}{D}^{{\mu }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime }\right){\nabla }_{\mathbf{a}}{Q}^{{\mu }_{\mathbf{\theta }}}\left({\mathbf{s}}^{\prime },\mathbf{a}\right){\mid }_{\mathbf{a}={\mu }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime }\right)}^{}{\nabla }_{\mathbf{\theta }}{\mu }_{\mathbf{\theta }}\left({\mathbf{s}}^{\prime }\right) \\ \propto {\mathbb{E}}_{\mathbf{s}{D}^{{\mu }_{\mathbf{\theta }}}}\left[{\nabla }_{\mathbf{a}}{Q}^{{\mu }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\mid }_{\mathbf{a}={\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)}^{}{\nabla }_{\mathbf{\theta }}{\mu }_{\mathbf{\theta }}\left(\mathbf{s}\right)\right] \end{gathered}$$

证毕。

---

🔥 更多精彩专栏：

• 《ROS从入门到精通》
• 《Pytorch深度学习实战》
• 《机器学习强基计划》
• 《运动规划实战精讲》
• …

👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇