大模型技术30讲-4-彩票假设

定义

彩票假设是一个关于神经网络训练的概念，它认为在一个随机初始化的神经网络中，存在着这样一个子网络（也称为“中奖彩票”）：如果单独训练，在训练步骤相同的情况下，能在测试集上达到与一个完整的网络一样高的正确率。

训练流程

1. 使用较小的随机权重值初始化神经网络
2. 训练直至收敛（训练损失最小化，分类正确率最大化）
3. 对神经网络的权重参数进行剪枝，将它们从网络中移除。有两种方式：非结构化剪枝（对单个权重剪枝，置为0）和结构化剪枝（对网络中较大的块剪枝，比如整个卷积滤波器通道权重置为0）
4. 将权重重置为第一步中的原始小随机值，并对剪枝后的网络进行训练（直接复用第一步中的权重）
5. 重复第2步到第4步的剪枝步骤，直到网络达到我们期望的大小。

在彩票假设的原始论文中，作者成功将网络缩减到其原始大小的10%，并且分类正确率没有降低。此外，剪枝后的稀疏网络，比原始密集网络展现出了更好地泛化性。

参考文献

[1] Jonathan Frankle and Michael Carbin, The lottery ticket hypothesis: Finding sparse, trainable neural networks (2019), in International Conference on Learning Representations.
[2] 塞巴斯蒂安·拉施卡, 大模型技术30讲, 人民邮电出版社(北京), 2025, P15-P17.