强化学习经典策略梯度算法REINFORCE

REINFORCE 算法推导

REINFORCE算法是一种基于策略梯度的蒙特卡洛强化学习算法，通过直接优化策略参数以最大化期望回报。基本原理：REINFORCE属于策略梯度方法，其核心是通过梯度上升调整策略参数θ，使得高回报的动作被赋予更高的概率。具体来说，算法通过采样完整的轨迹（episode）计算累积回报，并用其估计梯度，进而更新策略。

1. 目标函数

策略梯度方法的目标是最大化期望累积回报：

$$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[R(\tau )\right]$$
其中：

• $\tau =(s_0,a_0,r_0,...,s_T)$ 是轨迹（Trajectory）
• $R(\tau )={\sum }_{t=0}^T{\gamma }^t{r}_t$ 是轨迹的折扣回报
• $\gamma$ 是折扣因子

---

2. 策略梯度定理

对目标函数求梯度：
$${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[R(\tau )\right]$$

2.1 期望展开为轨迹积分

$${\nabla }_{\theta }J(\theta )=\int {\nabla }_{\theta }{p}_{\theta }(\tau )R(\tau )d\tau$$

2.2 对数概率技巧

利用 ∇ θ p θ ( τ ) = p θ ( τ ) ∇ θ log ⁡ p θ ( τ ) \nabla_\theta p_\theta(\tau) = p_\theta(\tau) \nabla_\thet