在深度学习中，如何统计模型的 ​​FLOPs（浮点运算次数）​​ 和 ​​参数量（Params）

在深度学习中，统计模型的FLOPs（浮点运算次数）和参数量（Params）是评估模型复杂度和计算资源需求的重要步骤。

---

---

一、参数量（Params）计算

参数量指模型中所有可训练参数的总和，其计算与网络结构直接相关：

1. 卷积层
   • 公式：Params = out_channels × (in_channels × kernel_size²) + out_channels（含偏置项）
   • 示例：输入通道为3，输出通道为64，卷积核3×3，则参数量为64×(3×3²)+64=1,792。

2. 批归一化层（BatchNorm）
   • 每通道包含可学习的γ和β参数，计算为：Params = 2 × out_channels。

3. 全连接层
   • 公式：Params = in_features × out_features + out_features（含偏置项）。

4. 激活层（如ReLU）
   • 无参数，参数量为0。

---

二、FLOPs（浮点运算次数）计算

FLOPs反映模型的计算复杂度，通常以乘加操作（MACs）为基础，1 MAC = 2 FLOPs：

1. 卷积层
   • 公式：
   FLOPs = batch_size × in_channels × kernel_size² × out_channels × H_out × W_out × 2
   • 示例：输入尺寸为224×224，卷积核3×3，输出通道64，则单样本FLOPs为3×3²×64×224×224×2≈5.2×10⁹。

2. 全连接层
   • 含偏置时：FLOPs = batch_size × in_features × out_features × 2。

3. 批归一化层
   • 推理阶段归一化操作约为每通道2 × H × W次运算。

---

三、常用工具库

1. 使用thop库（推荐）

import torch
from thop import profile

model = MyModel()  # 自定义模型
input = torch.randn(1, 3, 224, 224)  # 输入尺寸
flops, params = profile(model, inputs=(input,))
print(f"FLOPs: {flops/1e9:.2f} G, Params: {params/1e6:.2f} M")

2. 使用ptflops库（支持逐层分析）

from ptflops import get_model_complexity_info

flops, params = get_model_complexity_info(model, (3, 224, 224), 
                                         as_strings=True, 
                                         print_per_layer_stat=True)

3. 使用torchstat库（兼容旧版本PyTorch）

from torchstat import stat
stat(model, (3, 224, 224))

---

四、注意事项

1. FLOPs与FLOPS的区别
   • FLOPs（复数）指总浮点运算次数，用于模型复杂度；FLOPS（全大写）指每秒浮点运算次数，衡量硬件性能。

2. 工具计算的局限性
   • 某些自定义层（如注意力机制）可能未被统计，需手动补充。

3. 实际推理速度的影响因素
   • FLOPs仅反映理论计算量，实际速度还受内存带宽、并行优化等因素影响。

---