token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升

扩散语言模型（DLMs）是超强的数据学习者。

token 危机终于要不存在了吗？

近日，新加坡国立大学 AI 研究者 Jinjie Ni 及其团队向着解决 token 危机迈出了关键一步。

在当前大语言模型（LLM）的持续发展中，面临的挑战之一是可用的高质量训练文本数据（tokens）即将枯竭，并成为限制模型性能持续提升的关键瓶颈。另外，新增的高质量数据来源少，获取成本高，去重后更加稀缺。因此，当模型规模继续扩大，所需数据量按 Scaling Laws 成倍增加时，就出现了「优质 token 不够训练」的危机。

针对这一现象，该团队从零开始预训练了扩散语言模型（DLMs）与自回归（AR）模型，其中规模最高至 80 亿参数、4800 亿 tokens、480 个 epoch。

研究有以下三项重要发现：

• 在 token 数量受限的情况下，DLMs 优于 AR，并且具有超过 3 倍的数据潜力；

• 一个仅用 10 亿 tokens 训练的 10 亿参数 DLM，在 HellaSwag（常识推理基准） 上可达 56%，在 MMLU（综合多任务语言理解基准） 上可达 33%，无任何技巧、无挑选数据；

• 未出现性能饱和：重复训练次数越多，提升越明显。

此外，团队还剖析了并行研究《Diffusion Beats Autoregressive in Data-Constrained Settings》中的严重方法论缺陷 —— 以共同提升开放评审的标准！

结论 1：扩散语言模型（DLMs）是超强的数据学习者。

如上所述，团队从零开始预训练了一系列 DLMs，规模最高达 80 亿参数、4800 亿 tokens。结果提供了有力证据：在普通网页数据上进行重复训练时，DLMs 在数据受限场景下无论模型规模如何，都优于自回归（AR）模型，展现出显著更高的潜力且未出现性能饱和。

总体而言，DLMs 的最终数据潜力比 AR 模型高出三倍以上。

结论 2：重复越多，收获更多。

为了研究 DLM 训练中 token 的全部潜力，团队进行了额外实验：将同一份 10 亿 token 的数据集重复训练 480 个 epoch，总训练量达到 4800 亿 tokens。结果显示，模型在 HellaSwag 上取得约 56% 的准确率，在 MMLU 上取得约 33%，显著优于 AR 的约 41% 和约 29%。

令人惊讶的是，即使在如此极端的重复条件下，性能依然未出现饱和，这表明 DLMs 能够从固定的 10 亿 token 语料中提取到远超预期的有效信息。