深度强化学习 | 详解从信赖域策略优化(TRPO)到近端策略优化(PPO)算法原理

0 专栏介绍

本专栏以贝尔曼最优方程等数学原理为根基，结合PyTorch框架逐层拆解DRL的核心算法(如DQN、PPO、SAC)逻辑。针对机器人运动规划场景，深入探讨如何将DRL与路径规划、动态避障等任务结合，包含仿真环境搭建、状态空间设计、奖励函数工程化调优等技术细节，旨在帮助读者掌握深度强化学习技术在机器人运动规划中的实战应用

🚀详情：《运动规划实战精讲：深度强化学习篇》

---

1 信赖域策略优化

在深度强化学习 | 图文详细推导深度确定性策略梯度DDPG算法中，我们介绍了​​演员-评论家（Actor-Critic, AC）框架​​，其中

• Actor网络表征策略，通常用神经网络表示为${\pi }_{\theta }(a|s)$（随机策略，输出动作概率分布）或 ${\mu }_{\theta }(s)$（确定性策略，直接输出动作），其参数$\theta$决定了智能体在不同状态下倾向于选择哪些动作；
• Critic网络表征策略优劣，通常用神经网络表示为$V_{\varphi }(s)$（状态值函数，估计状态$s$的长期价值）或$Q_{\varphi }(s,a)$（状态-动作值函数，估计状态 $s$ 下执行动作 $a$ 的长期价值），其参数 $\varphi$ 量化了当前策略下这个状态/动作的回报；

Actor通过与环境交互积累经验，Critic则基于这些经验更新对价值的估计，反过来为Actor的策略优化提供方向。

在标准Actor-Critic框架中，采样的行动策略和待改进的目标策略相同，属于在线策略方法。为了增强采样数据的利用率，信赖域策略优化(Trust Region Policy Optimization, TRPO)通过重要性采样技术使Actor-Critic框架具有离线策略方法的特点。形式化地，设目标策略为${\pi }_{\mathbf{\theta }}$，行为策略为${\pi }_{{\mathbf{\theta }}^{\prime }}$，则策略梯度

$$\begin{array}{rl}{\nabla }_{\mathbf{\theta }}{V}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s}\right)& \propto {\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right){\pi }_{\mathbf{\theta }}}\left[A^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\right]\\ & =\sum _{\mathbf{s},\mathbf{a}}\left({\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)A^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\right)\\ & =\sum _{\mathbf{s},\mathbf{a}}\left({\pi }_{{\mathbf{\theta }}^{\prime }}\left(\mathbf{s},\mathbf{a}\right)\frac{{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}^{\prime }}\left(\mathbf{s},\mathbf{a}\right)}{A}^{{\pi }_{\mathbf{\theta }}}\left(\mathbf{s},\mathbf{a}\right){\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\right)\\ & ={\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right){\pi }_{{\mathbf{\theta }}^{\prime }}}\left[\frac{{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}^{\prime }}\left(\mathbf{s},\mathbf{a}\right)}{A}^{{\pi }_{{\mathbf{\theta }}^{\prime }}}\left(\mathbf{s},\mathbf{a}\right){\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)\right]\end{array}$$

在重要性采样下，设计由行为策略诱导的代理目标函数(surrogate objective function)

$$J\left(\mathbf{\theta }\right)={\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right){\pi }_{{\mathbf{\theta }}^{\prime }}}\left[\frac{{\pi }_{\mathbf{\theta }}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}^{\prime }}\left(\mathbf{s},\mathbf{a}\right)}{A}^{{\pi }_{{\mathbf{\theta }}^{\prime }}}\left(\mathbf{s},\mathbf{a}\right)\right]$$

基于代理目标函数，采用相邻两次迭代的策略参数${\mathbf{\theta }}_k$与${\mathbf{\theta }}_{k+1}$构造有约束优化问题

$${\mathbf{\theta }}_{k+1}=\underset{{\mathbf{\theta }}_{k+1}}{\mathrm{argmax}}{\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right){\pi }_{{\mathbf{\theta }}_k}}\left[\frac{{\pi }_{{\mathbf{\theta }}_{k+1}}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}_k}\left(\mathbf{s},\mathbf{a}\right)}{A}^{{\pi }_{{\mathbf{\theta }}_k}}\left(\mathbf{s},\mathbf{a}\right)\right]\mathrm{s}.\mathrm{t}.{\pi }_{{\mathbf{\theta }}_{k+1}}\approx {\pi }_{{\mathbf{\theta }}_k}$$

即在旧策略${\pi }_{{\mathbf{\theta }}_k}$及其采样样本估计的优势值$A^{{\pi }_{{\mathbf{\theta }}_k}}$下，最大化新策略${\pi }_{{\mathbf{\theta }}_{k+1}}$带来的价值提升

约束条件限制了策略更新幅度太大，防止重要性采样中辅助分布不能近似表示目标分布，导致方差过大训练不稳定。在TRPO算法中，用KL散度衡量相邻迭代步策略的近似性

$$D_{KL}\left({\pi }_{{\mathbf{\theta }}_k}||{\pi }_{{\mathbf{\theta }}_{k+1}}\right)={\int }_{\mathbf{s}{\pi }_{{\mathbf{\theta }}_k}}{\pi }_{{\mathbf{\theta }}_k}\left(\mathbf{s},\mathbf{a}\right)\log \left(\frac{{\pi }_{{\mathbf{\theta }}_k}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}_{k+1}}\left(\mathbf{s},\mathbf{a}\right)}\right)\mathrm{d}\mathbf{s}$$

结合信赖域方法设置信赖域半径约束KL散度，即

$${\mathbf{\theta }}_{k+1}=\underset{{\mathbf{\theta }}_{k+1}}{\mathrm{argmax}}{\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right){\pi }_{{\mathbf{\theta }}_k}}\left[\frac{{\pi }_{{\mathbf{\theta }}_{k+1}}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}_k}\left(\mathbf{s},\mathbf{a}\right)}{A}^{{\pi }_{{\mathbf{\theta }}_k}}\left(\mathbf{s},\mathbf{a}\right)\right]\mathrm{s}.\mathrm{t}.D_{KL}\left({\pi }_{{\mathbf{\theta }}_k}||{\pi }_{{\mathbf{\theta }}_{k+1}}\right)<\Delta$$

在实际应用中，为了简化上述优化问题的求解，对目标函数进行一阶泰勒展开

$$J\left({\mathbf{\theta }}_{k+1}\right)=J\left({\mathbf{\theta }}_k\right)+{\mathbf{g}}^T\left({\mathbf{\theta }}_{k+1}-{\mathbf{\theta }}_k\right)$$

根据KKT条件的定常方程式和互补松弛条件可得

$${\mathbf{\theta }}_{k+1}={\mathbf{\theta }}_k+{\alpha }_k\sqrt{\frac{2\Delta }{{\mathbf{x}}^T\mathbf{Hx}}}\mathbf{x}$$

2 近端策略优化

TRPO的求解是带KL散度约束的优化问题，涉及泰勒展开线性化、KKT条件、共轭梯度算法、线搜索法、广义优势估计等，使TRPO的计算复杂度较高。近端策略优化(Proximal Policy Optimization, PPO)的核心思想与TRPO一致，但更轻量有效，成为OpenAI推荐的首选深度强化学习算法之一。

对于有约束优化问题

$${\mathbf{\theta }}_{k+1}=\underset{{\mathbf{\theta }}_{k+1}}{\mathrm{argmax}}{\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right){\pi }_{{\mathbf{\theta }}_k}}\left[\frac{{\pi }_{{\mathbf{\theta }}_{k+1}}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}_k}\left(\mathbf{s},\mathbf{a}\right)}{A}^{{\pi }_{{\mathbf{\theta }}_k}}\left(\mathbf{s},\mathbf{a}\right)\right]\mathrm{s}.\mathrm{t}.{\pi }_{{\mathbf{\theta }}_{k+1}}\approx {\pi }_{{\mathbf{\theta }}_k}$$

PPO设计以下的目标函数进行简化，称为PPO截断(PPO-Clip)

$${\mathbf{\theta }}_{k+1}=\arg \underset{{\mathbf{\theta }}_{k+1}}{\max }J\left({\mathbf{\theta }}_{k+1}\right)$$

其中

$$J\left({\mathbf{\theta }}_{k+1}\right)={\mathbb{E}}_{\left(\mathbf{s},\mathbf{a}\right){\pi }_{{\mathbf{\theta }}_k}}\left[\min \left(\frac{{\pi }_{{\mathbf{\theta }}_{k+1}}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}_k}\left(\mathbf{s},\mathbf{a}\right)}{A}^{{\pi }_{{\mathbf{\theta }}_k}}\left(\mathbf{s},\mathbf{a}\right),\mathrm{clip}\left(\frac{{\pi }_{{\mathbf{\theta }}_{k+1}}\left(\mathbf{s},\mathbf{a}\right)}{{\pi }_{{\mathbf{\theta }}_k}\left(\mathbf{s},\mathbf{a}\right)},1-ϵ,1+ϵ\right)A^{{\pi }_{{\mathbf{\theta }}_k}}\left(\mathbf{s},\mathbf{a}\right)\right)\right]$$

截断函数

$$\mathrm{clip}\left(x,l,r\right)$$

将$x$限制在$[l,r]$区间内。如图所示

• 若$A^{{\pi }_{{\mathbf{\theta }}_k}}>0$说明该动作的价值高于平均，最大化$J\left({\mathbf{\theta }}_{k+1}\right)$需要增大${\pi }_{{\mathbf{\theta }}_{k+1}}/{\pi }_{{\mathbf{\theta }}_k}$，但不会让其超过$1+ϵ$；
• 若$A^{{\pi }_{{\mathbf{\theta }}_k}}<0$则最大化$J\left({\mathbf{\theta }}_{k+1}\right)$需要减小${\pi }_{{\mathbf{\theta }}_{k+1}}/{\pi }_{{\mathbf{\theta }}_k}$，但不会让其超过$1-ϵ$

如下所示为PPO算法流程。

---

🔥 更多精彩专栏：

• 《ROS从入门到精通》
• 《Pytorch深度学习实战》
• 《机器学习强基计划》
• 《运动规划实战精讲》
• …

👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇