根据参数量，如何推断需要多少数据才能够使模型得到充分训练？
✅ 一、经验法则：数据量 vs. 模型参数量
- 经典经验法则（适用于监督学习场景）：
- 训练样本数 ≈ 模型参数数量的 10~100 倍
- 对于 BERT-base（1.1亿参数），你通常需要 10亿到100亿标注样本 才能从头训练。
- 对于 Video Swin Transformer-B（8800万参数），建议样本量也在 几千万到几亿 级别，特别是训练从头开始时。
- 更实际的范式：预训练 + 微调（fine-tuning）
如果使用预训练模型再进行微调，所需数据量可以显著减少：
| 模型类型 | 是否预训练 | 微调所需数据（粗略） |
|---|---|---|
| Video Swin-T | (~28M) | 是 |
| Video Swin-B | (~88M) | 是 |
| Video Swin-L | (~197M) | 是 |
✅ 二、影响训练数据量需求的其他关键因素：
- 任务复杂度
- 简单分类任务 vs. 多标签识别 / 动作分段任务，后者需要更多数据。
- 数据多样性
- 类别越多，动作变化越复杂，所需数据越多。例如：
- Kinetics-400：约 24 万训练视频
- Something-Something V2：约 168k 视频，但动作交互更细腻，因此训练更困难
- 训练策略
- 数据增强、正则化、蒸馏、Mixup、Masking 等技巧可以缓解数据不足问题
- 少样本（few-shot）或迁移学习可以有效减少对数据的依赖
✅ 三、实用建议
| 场景 | 建议 |
|---|---|
| 从零训练 Video Swin Transformer | 至少需要 100 万以上视频（建议自建大规模数据集或使用公共数据集，如 Kinetics-700、SSv2） |
| 微调 Swin Transformer | 有几十万个标注视频样本时就可以开始尝试，辅以数据增强 |
| 数据有限时 | 使用轻量级模型（如 Swin-T）、知识蒸馏、合成数据、伪标注等手段 |
✅ 举个对比例子
模型 参数量 数据集 数据量
TimeSformer-B ~121M Kinetics-400 ~240k
Video Swin-B ~88M Kinetics-400 ~240k
Video Swin-B ~88M Something-Something ~170k
这些模型都没有用上“从零训练”，而是使用了ImageNet-21K 预训练 + 视频预训练（如 Kinetics）。