LLm中 float16和 float32 区别，为什么训练不能采用float16–梯度消失
在深度学习中，使用 float16（半精度）而非 float32（单精度）进行训练时，数值范围和精度的差异可能导致一系列问题，特别是当损失值达到 0.0001 这种较小时。以下是具体分析：
1. float16 与 float32 的核心区别
| 特性 | float32 (单精度) | float16 (半精度) |
|---|
| 位宽 | 32 位（1 符号位 + 8 指数位 + 23 尾数位） | 16 位（1 符号位 + 5 指数位 + 10 尾数位） |
| 数值范围 | ±3 |
