大模型显存占用分析：以Qwen2.5-7B-Instruct为例，深度剖析推理、LoRA与全量微调

揭秘大模型显存占用：以Qwen2.5-7B-Instruct为例，深度剖析推理、LoRA与全量微调

随着大模型技术的飞速发展，其在推理、微调等场景下的显存占用问题日益凸显，成为制约模型部署和训练效率的关键因素。本文将以Qwen2.5-7B-Instruct模型为例，深入剖析大模型在推理、LoRA微调和全量微调三种典型场景下的显存占用情况，并结合Deepspeed的优化策略，为读者提供一份详细的显存管理指南。

在开始之前，我们先明确一个前提：本文所有计算均基于BF16精度模型，且优化器状态（Optimizer State）采用FP32。

一、显存占用的核心构成

无论哪种场景，大模型的显存占用主要由以下几个部分构成：

1. 模型参数（Model Parameters）：模型本身的权重和偏置。
2. 激活值（Activations）：模型前向传播过程中各层输出的中间结果，用于反向传播计算梯度。
3. 梯度（Gradients）：反向传播计算得到的模型参数的梯度。
4. 优化器状态（Optimizer States）：优化器（如AdamW）在更新参数时需要维护的状态，例如AdamW的m和v（一阶矩和二阶矩）。
5. 其他（Others）：包括数据、标签、Deepspeed等框架的额外开销等。

二、Qwen2.5-7B-Instruct模型基础信息

• 参数量（Parameters）：70亿（7B）
• 模型精度：BF16 (2字节/参数)
• 优化器状态精度：FP32 (4字节/参数)

三、场景一：推理（Inference）显存占用

推理场景下，我们只需要进行前向传播，不涉及梯度计算和优化器状态。显存占用主要由模型参数和激活值构成。

1. 模型参数占用：

• 7B参数 * 2字节/参数 (BF16) = 14 GB

2. 激活值占用：

激活值占用与Batch Size和Sequence Length密切相关。这是一个动态值，且通常是显存占用的主要瓶颈之一。

• 计算公式（近似）： Batch Size * Sequence Length * Hidden Size * Number of Layers * 2 (BF16)
• Qwen2.5-7B-Instruct的Hidden Size约为4096，层数约为32层。
• 假设Batch Size = 1，Sequence Length = 2048：
  • 1 * 2048 * 4096 * 32 * 2 字节 ≈ 0.5 GB (这只是一个粗略的估计，实际会更复杂，因为attention机制等会引入额外的激活值)

总推理显存占用（近似）：

• 14 GB (模型参数) + 0.5 GB (激活值) ≈ 14.5 GB

实际情况：

• 在实际推理中，尤其是使用KV Cache（Key-Value Cache）时，显存占用还会增加，因为KV Cache存储了过去token的Key和Value，以避免重复计算。KV Cache的大小也取决于Batch Size和Sequence Length。
• 对于Qwen2.5-7B-Instruct，单卡推理通常需要至少16GB显存的GPU，例如RTX 3090 (24GB) 或 A100 (40/80GB)。

四、场景二：LoRA微调（Low-Rank Adaptation）显存占用

LoRA是一种参数高效微调方法，它通过在预训练模型的特定层（如Attention层）注入小的、可训练的低秩矩阵来更新模型，而保持大部分预训练参数冻结。

显存构成：

1. 冻结的模型参数：仍然需要加载到显存中，但不需要计算梯度。
2. LoRA参数：新增的可训练参数。
3. 激活值：与全量微调类似，但由于只有LoRA参数需要梯度，部分激活值可能不需要保留。
4. LoRA参数的梯度：只计算LoRA参数的梯度。
5. LoRA参数的优化器状态：只维护LoRA参数的优化器状态。

详细分析：

• 冻结的模型参数占用： 14 GB (与推理相同)

• LoRA参数占用：

  LoRA参数量相对较小，通常是原始模型参数的0.1% - 1%。

  • 假设LoRA参数量为原始参数的0.5%：7B * 0.5% = 35M 参数
  • 35M 参数 * 2字节/参数 (BF16) = 0.07 GB

• 激活值占用： 与全量微调类似，但由于只有LoRA部分参与反向传播，理论上可以更小，但为了简化，我们仍按接近全量微调的上限考虑，约 0.5 - 1 GB (取决于Batch Size和Sequence Length)。

• LoRA参数的梯度占用： 35M 参数 * 2字节/参数 (BF16) = 0.07 GB

• LoRA参数的优化器状态占用： 35M 参数 * 4字节/参数 (FP32) * 2 (m和v) = 0.28 GB

总LoRA微调显存占用（近似）：

• 14 GB (冻结模型) + 0.07 GB (LoRA参数) + 0.5-1 GB (激活值) + 0.07 GB (LoRA梯度) + 0.28 GB (LoRA优化器状态) ≈ 14.92 - 15.42 GB

实际情况：

• LoRA微调的显存占用显著低于全量微调，使得在消费级GPU（如RTX 3090）上微调7B模型成为可能。
• LoRA的实际显存节省主要体现在梯度和优化器状态的减少，以及激活值可以更高效地管理。

五、场景三：全量微调（Full Fine-tuning）显存占用

全量微调需要更新模型的所有参数，因此显存占用最高。

显存构成：

1. 模型参数
2. 激活值
3. 梯度
4. 优化器状态

详细分析：

• 模型参数占用： 7B参数 * 2字节/参数 (BF16) = 14 GB

• 激活值占用：

  这是全量微调中最大的动态开销，与Batch Size和Sequence Length呈线性关系。为了计算梯度，需要保留所有中间激活值。

  • 假设Batch Size = 1，Sequence Length = 2048：
    • 1 * 2048 * 4096 * 32 * 2 字节 ≈ 0.5 GB (这只是一个粗略的估计，实际会更大，因为attention机制等会引入额外的激活值)
  • 经验法则： 激活值通常是模型参数的1-3倍，甚至更高。对于7B模型，如果Batch Size较大，Sequence Length较长，激活值可能轻松达到数十GB。
  • 我们保守估计，激活值至少需要 10 GB (对于较小的Batch Size和Sequence Length)。

• 梯度占用：

  与模型参数相同，但精度可能不同。

  • 7B参数 * 2字节/参数 (BF16) = 14 GB

• 优化器状态占用：

  这是全量微调中第二大固定开销。对于AdamW优化器，每个参数需要存储两个FP32状态（m和v）。

  • 7B参数 * 4字节/参数 (FP32) * 2 (m和v) = 56 GB

总全量微调显存占用（近似）：

• 14 GB (模型参数) + 10 GB (激活值) + 14 GB (梯度) + 56 GB (优化器状态) = 94 GB

实际情况：

• 94 GB 这是一个非常庞大的数字，远超单张消费级GPU的显存容量。即使是A100 80GB也无法满足。
• 这意味着，对于7B模型的全量微调，我们必须采用分布式训练和显存优化技术，如Deepspeed。

六、Deepspeed显存优化策略

Deepspeed是一个强大的深度学习优化库，提供了多种显存优化策略，其中最核心的是ZeRO (Zero Redundancy Optimizer)。ZeRO将模型状态（参数、梯度、优化器状态）在多个GPU之间进行分片，从而显著降低每个GPU的显存占用。

1. ZeRO-Offload：

• 将优化器状态和/或梯度卸载到CPU内存或NVMe SSD。这可以显著节省GPU显存，但会引入CPU-GPU之间的数据传输开销，可能影响训练速度。

2. ZeRO Stage 0 (ZeRO-0)：

• 不分片。 每个GPU仍然拥有完整的模型参数、梯度和优化器状态。
• 显存占用与上述全量微调的计算相同。

3. ZeRO Stage 1 (ZeRO-1)：

• 分片优化器状态（Optimizer States Partitioning）。
• 每个GPU只存储其负责更新的参数的优化器状态。
• 优化器状态占用： 56 GB / N (N为GPU数量)
• 其他部分（模型参数、梯度、激活值）：每个GPU仍有完整副本。
• 总显存占用（近似）： 14 GB (模型参数) + 10 GB (激活值) + 14 GB (梯度) + (56 GB / N)
• 示例 (N=4)： 14 + 10 + 14 + (56/4) = 14 + 10 + 14 + 14 = 52 GB
• 分析： ZeRO-1显著降低了优化器状态的显存占用，但模型参数、梯度和激活值仍然占用大量显存。对于7B模型，52GB仍然需要A100 80GB或多卡组合。

4. ZeRO Stage 2 (ZeRO-2)：

• 分片优化器状态和梯度（Optimizer States & Gradients Partitioning）。
• 每个GPU只存储其负责更新的参数的优化器状态和梯度。
• 优化器状态占用： 56 GB / N
• 梯度占用： 14 GB / N
• 模型参数和激活值：每个GPU仍有完整副本。
• 总显存占用（近似）： 14 GB (模型参数) + 10 GB (激活值) + (14 GB / N) + (56 GB / N)
• 示例 (N=4)： 14 + 10 + (14/4) + (56/4) = 14 + 10 + 3.5 + 14 = 41.5 GB
• 分析： ZeRO-2进一步降低了显存占用，使得在多张A100 40GB或80GB上进行7B模型微调成为可能。

5. ZeRO Stage 3 (ZeRO-3)：

• 分片所有模型状态（All Model States Partitioning）。 包括模型参数、梯度和优化器状态。
• 每个GPU只存储其负责更新的参数的模型参数、梯度和优化器状态。
• 在前向传播时，会动态地从其他GPU获取所需的参数；在反向传播时，会动态地获取梯度。
• 总显存占用（近似）： (14 GB / N) + 10 GB (激活值) + (14 GB / N) + (56 GB / N)
• 简化计算： (模型参数 + 梯度 + 优化器状态) / N + 激活值
• 简化计算： (14 + 14 + 56) / N + 10 = 84 / N + 10 GB
• 示例 (N=4)： 84 / 4 + 10 = 21 + 10 = 31 GB
• 分析： ZeRO-3提供了最大的显存节省，理论上可以将模型参数、梯度和优化器状态的总和分摊到所有GPU上。这使得训练超大模型（如万亿参数模型）成为可能。然而，动态参数加载会引入通信开销，可能影响训练速度。

Deepspeed ZeRO总结：

ZeRO Stage	分片内容	显存节省	通信开销	适用场景
ZeRO-0	无	无	无	小模型，单卡或少量卡
ZeRO-1	优化器状态	中等	低	优化器状态占用大，但模型参数和梯度能单卡容纳
ZeRO-2	优化器状态 + 梯度	显著	中等	梯度和优化器状态占用大，模型参数仍需完整副本
ZeRO-3	所有模型状态	最大	高	训练超大模型，单卡无法容纳模型参数

七、总结与展望

通过对Qwen2.5-7B-Instruct模型在推理、LoRA微调和全量微调场景下的显存占用分析，我们可以得出以下结论：

• 推理：相对较低，但KV Cache仍是重要考虑因素。16GB显存是7B模型推理的入门级门槛。
• LoRA微调：显存占用显著低于全量微调，使得消费级GPU也能参与大模型微调。
• 全量微调：对显存需求极高，对于7B模型，单卡显存远不足以支撑，必须依赖分布式训练和Deepspeed等优化技术。

Deepspeed的ZeRO系列优化策略是解决大模型显存瓶颈的关键。通过合理选择ZeRO Stage，可以在显存占用和训练速度之间取得平衡。

未来，随着模型规模的不断扩大，显存优化技术将变得更加重要。除了Deepspeed，还有如FlashAttention、梯度检查点（Gradient Checkpointing）、量化（Quantization）等技术可以进一步降低显存占用。理解这些核心概念和优化策略，将有助于我们更高效地利用有限的计算资源，推动大模型技术的发展和应用。