大模型面试高频考点-显存占用

目录

1.训练阶段

2.推理阶段

---

如何根据大模型的参数，来计算其在训练和推理阶段的显存占用大小呢？

基础知识：

1个字节(byte)，占8位(bit)。

全精度fp32， 就是32位，占4个(32/8=4)字节(byte)。

半精度FP16/BF16， 就是16位，占2个(16/8=2)字节(byte)。

int8， 就是8位，占1个(8/8=1)字节(byte)。

1.训练阶段

综上，int8 精度的 LlaMa-7B 模型，训练阶段大致需要的内存：

7GB+7GB+ 14GB+ 1.3GB+ 5.25 GB= 34.55GB左右

2.推理阶段

float32 精度的 LlaMa-7B 模型，推理阶段大致需要的内存：

3.725*7+21GB=47.075 GB