从Transformer原理角度来看，prompt设置输出字数限制会生效的原因
从Transformer原理角度来看，prompt设置输出字数限制会生效的原因
1. 生成过程的控制
- Transformer在生成文本时是一个自回归的过程，它从起始标记开始，逐个生成下一个单词或标记。在这个过程中，模型会根据已经生成的文本和自身的参数来预测下一个可能的标记的概率分布。
- 当设置了输出字数限制时，模型可以在生成到指定字数后停止生成过程。这并不是通过直接裁剪文本实现的，而是通过控制生成的步数来实现。例如，如果限制输出100个字，那么模型在生成到第100个标记后就不再继续生成新的标记，从而实现了字数的限制。
2. 概率模型与字数限制的结合
- 虽然Transformer是基于概率模型来生成文本的，即根据概率分布选择下一个标记，但这种概率选择是在每一步生成时进行的。
- 字数限制实际上是对生成步数的一种约束。模型在每一步生成时会根据概率分布选择一个标记，直到达到设定的字数限制步数。在达到限制后，即使模型仍然可以根据概率分布继续生成下一个标记，但由于字数限制的存在，生成过程被强制停止，所以能够有效地限制输出的字数。