当前位置：首页 > news >正文

【PyTorch训练】为什么要有 loss.backward() 和 optimizer.step()？

news 2025/9/12 10:04:41

标签：PyTorch, 深度学习, 梯度下降, 反向传播

大家好。今天我们来聊聊PyTorch（或类似深度学习框架）中训练模型的核心代码片段：loss.backward() 和 optimizer.step()。很多初学者看到这个可能会觉得“为什么非要这样写？能不能合二为一？”

这篇文章适合PyTorch新手，如果你已经是老鸟，也可以当复习。咱们开始吧！

引言：训练模型的“黑匣子”是怎么工作的？

想象一下，你在训练一个AI模型，比如一个识别猫狗的神经网络。训练的核心是让模型从错误中学习，逐步减少预测误差。这靠的是损失函数（loss）——它量化了模型的“错得有多离谱”。

在PyTorch中，训练循环通常长这样：

optimizer.zero_grad()  # 清零梯度
output = model(input)  # 前向传播
loss = loss_fn(output, target)  # 计算损失
loss.backward()        # 反向传播
optimizer.step()       # 更新参数

其中，loss.backward() 和 optimizer.step() 是关键的两行。为什么不自动合并？为什么这样设计？下面我们深入分析。

1. 基础概念：梯度下降算法

要理解这两行代码，得先搞清楚梯度下降（Gradient Descent）。这是深度学习优化的基石。

损失函数：比如均方误差（MSE），它告诉你模型预测和真实值的差距。
梯度：数学上，是损失函数对模型参数（权重、偏置）的偏导数。简单说，梯度指出“如果你微调这个参数，损失会怎么变？” 它像一个“方向箭头”，指向减少损失的最快路径。
更新规则：新参数 = 旧参数 - 学习率 × 梯度。

手动计算梯度？在复杂模型中不可能！PyTorch用**自动微分（autograd）**来帮忙。它构建了一个“计算图”，记录所有操作，然后自动求导。

2. loss.backward()：计算梯度的“魔法一步”

作用：调用loss.backward() 会触发反向传播（backpropagation），从损失值开始，反向遍历计算图，为每个参数计算梯度。这些梯度存储在参数的.grad属性中。

为什么需要这一步？

自动化求导：模型参数成千上万，手动求导是噩梦。backward() 利用链式法则（高中数学的复合函数求导）自动完成。
为什么不省略？ 没有梯度，模型就不知道怎么改进。就像开车没GPS，你不知道往哪转弯。
灵活性：你可以干预，比如梯度剪裁（torch.nn.utils.clip_grad_norm_）防止梯度爆炸，或在多任务学习中只计算部分梯度。

小Tips：在调用前，通常要optimizer.zero_grad() 清零旧梯度，否则会累加导致错误。

如果不写这一行？模型参数不会更新，训练就白费了！

3. optimizer.step()：实际更新参数的“行动一步”

作用：optimizer（优化器）是一个对象（如torch.optim.Adam），它使用计算好的梯度，应用更新规则修改模型参数。

为什么需要这一步？

策略封装：梯度只是“方向”，optimizer决定“步子多大”。比如：
- SGD：简单梯度下降，适合基础任务。
- Adam：自适应学习率，更聪明，收敛更快。
为什么分开写？ 模块化设计！你可以轻松切换优化器，而不改其他代码。想用LBFGS？只需换一行。
控制权：不调用step()，参数不变。适合场景如梯度累加（多个batch后才更新）或自定义更新逻辑。

为什么不和backward合并？ 框架设计者追求灵活性。在GAN或强化学习中，你可能只更新部分网络。

4. 为什么整体这样设计？大图景分析

效率：分离计算（backward）和更新（step）便于并行计算、多GPU支持。
调试友好：你可以打印梯度检查问题，而不直接更新。
历史传承：从Theano到TensorFlow，再到PyTorch，这种设计已成为标准。它让代码更直观，像在“指挥”模型学习。
数学本质：这是梯度下降的实现。公式：
$\theta_{new} = \theta_{old} - \eta \cdot \nabla L(\theta)$
其中， $∇L\nabla L$ 是梯度（backward计算）， $η\eta$ 是学习率（optimizer管理）。

如果框架全自动，你就没法自定义——这对研究者和工程师很重要。

5. 完整代码示例：从零训练一个线性模型

来看个简单例子：用PyTorch拟合 y = 2x + 1。

import torch
import torch.nn as nn
import torch.optim as optim# 数据
x = torch.tensor([[1.0], [2.0], [3.0]])
y = torch.tensor([[3.0], [5.0], [7.0]])# 模型
model = nn.Linear(1, 1)  # 输入1维，输出1维
optimizer = optim.SGD(model.parameters(), lr=0.01)
loss_fn = nn.MSELoss()# 训练循环
for epoch in range(100):optimizer.zero_grad()output = model(x)      # 前向loss = loss_fn(output, y)loss.backward()        # 反向，计算梯度optimizer.step()       # 更新if epoch % 20 == 0:print(f"Epoch {epoch}, Loss: {loss.item()}")# 输出模型参数（应接近 w=2, b=1）
print(model.weight.item(), model.bias.item())