大模型显存占用量换算

首先，一个最直接的换算关系是：每10亿（1B）参数在不同精度下所需的理论显存基础值。这可以概括为下表：

 

精度类型

每个参数所占字节每1B参数所需理论显存FP32

4 Bytes~4 GBFP16/BF16

2 Bytes~2 GBINT8

1 Byte~1 GBINT4

0.5 Bytes~0.5 GB🧮 以14B模型为例

一个拥有140亿（14B）参数的模型，其原始模型大小（即权重文件在硬盘上占用的空间）的计算公式为：

原始模型大小 (GB) = 参数量 (B) × 每个参数的字节数

据此，14B模型在不同精度下的原始模型大小约为：

FP32: 14 × 4 = 56 GB

FP16/BF16: 14 × 2 = 28 GB

INT8: 14 × 1 = 14 GB

INT4: 14 × 0.5 = 7 GB

然而，模型在运行时占用的显存通常会比其原始模型大小再多20%到30%，用于容纳计算过程中的中间激活值（Activation）、KV Cache（自回归解码的关键）、框架开销等。

因此，运行所需显存 ≈ 原始模型大小 × 1.2 ~ 1.3

对于14B模型推理，在不同精度下的显存需求大致为：

FP16/BF16推理: ≈ 28 GB × 1.2 = 33.6 GB (例如，需要一张A100-40GB或两张RTX 3090-24GB)

INT8量化推理: ≈ 14 GB × 1.2 = 16.8 GB (一张RTX 4090-24GB或RTX 3090-24GB可胜任)

INT4量化推理: ≈ 7 GB × 1.2 = 8.4 GB (消费级显卡如RTX 4070 Ti 12GB即可运行)

🧪 训练与推理的显存差异

训练过程的显存占用远高于推理，因为它需要额外存储梯度（Gradients）、优化器状态（Optimizer States，如Adam优化器的一阶动量和二阶动量）以及更大量的前向激活以供反向传播。

对于全参数微调（SFT），一个常用的经验公式是：训练显存占用 (GB) ≈ 12 × 模型参数量 (B)。

这意味着训练一个14B的模型，峰值显存需求可能接近 12 × 14 = 168 GB，这通常需要多张高性能GPU通过分布式并行技术协作完成。

为了降低训练门槛，可以采用参数高效微调方法（PEFT），如 LoRA。它只训练新增的旁路矩阵，极大减少了需要存储的梯度和优化器状态。使用LoRA后，14B模型训练所需的显存可能降至 50-60 GB 左右。

💡 优化显存占用的常用技巧

量化（Quantization）：这是最直接有效的手段，如将FP16模型量化为INT8或INT4，能显著减少显存占用和加速计算，但可能会带来轻微的精度损失。

使用更高效的优化器：例如，bitsandbytes 库提供了8位优化器，可以大幅减少优化器状态的内存开销。

梯度检查点（Gradient Checkpointing）：通过以时间换空间的方式，在反向传播时重新计算部分前向激活，而不是全部保存，从而显著降低激活值带来的显存消耗。

模型并行（Model Parallelism）：当模型过大无法放入单卡时，将其拆分到多个GPU上。

张量并行（Tensor Parallelism）：将单个运算符（如线性层）的计算拆分到多个设备上，是模型并行的一种细化形式。

希望这些信息能帮助你更好地规划和估算大模型所需的资源。如果你有特定的硬件环境或模型目标，我们可以更深入地讨论。