【WIP】大模型运维中GPU机器介绍
大模型中H20 H100 H800 A100 A10 A800 L20 H200 4090卡的配置
| 显卡 | 架构 | 显存容量/类型 | 显存带宽 | NVLink/PCIe | FP16 Tensor (TFLOPS) | FP8 Tensor (TFLOPS) | 典型功耗 | 适用场景 |
|---|---|---|---|---|---|---|---|---|
| H20 | Hopper | 96 GB HBM3 | 4 TB/s | NVLink 4.0 900 GB/s + PCIe 5 128 GB/s | 148 | 296 | 400 W | 大模型推理首选，单卡可跑 32 B+ 全量模型 |
| H100 | Hopper | 80 GB HBM3 | 3.35 TB/s (SXM) 3.9 TB/s (PCIe) | NVLink 4.0 900 GB/s + PCIe 5 128 GB/s | 1,979 |