权重修剪（Pruning）和量化（Quantization）
权重修剪（Pruning）和量化（Quantization）都是深度学习模型压缩和加速的重要技术，它们都能减少模型大小和计算复杂度，但方式和原理不同：
1. 权重修剪（Pruning）
权重修剪的主要思想是移除对模型预测影响较小的权重，使模型更加稀疏，从而减少存储需求和计算量。主要的修剪方式包括：
- 非结构化剪枝（Unstructured Pruning）：直接去除权重矩阵中绝对值较小的权重，例如设定一个阈值，把小于该阈值的权重置零。这样可以减少存储需求，但计算上仍然需要特殊的优化（如稀疏矩阵乘法）。
- 结构化剪枝（Structured Pruning）：直接剪掉整个神经元、卷积核或通道，从而减少计算量，使模型在硬件上更容易加速。
为什么剪枝能减小模型大小？
- 剪枝后，许多权重变为零，可以采用稀疏存储格式（如CSR格式）来减少存储需求。
- 结构化剪枝能减少整个神经元或通道，从而降低计算复杂度，加速推理。
2. 量化（Quantization）
量化的核心思想是减少模型中数值表示的位数，通常是将 32-bit 浮点数（FP32）转换为 16-bit（FP16）、8-bit（INT8）或更低的精度。
常见的量化方法：
- 后训练量化（Post-training Quantization, PTQ）：在训练完成后，将权重和激活值转换为低精度表示，通常结合校准数据来减少精度损失。
- 量化感知训练（Quantization-aware Training, QAT）：在训练过程中引入量化模拟，使模型在低精度下仍能保持较高准确率。
为什么量化能减小模型大小？
- 低精度的权重占用更少的存储空间，例如：
- FP32（32-bit） → INT8（8-bit）可减少 4 倍 存储需求。
- 计算时使用低精度数据可以加速推理，尤其是在支持 INT8 计算的硬件（如 ARM 处理器、TPU）上，计算效率大幅提升。
总结：权重修剪 vs 量化
| 方法 | 主要作用 | 如何减少模型大小 | 计算加速 |
|---|---|---|---|
| 权重修剪 | 移除不重要的权重 | 稀疏存储，减少非必要参数 | 结构化剪枝可减少计算量 |
| 量化 | 用低位数表示权重 | 用更少的比特存储参数 | 低精度计算加速推理 |
两者可以结合使用，例如：
- 先进行权重修剪，使模型更稀疏；
- 再进行量化，将剩余的权重存储为低精度数据。
这样既能减少存储需求，也能加速推理。