新网站怎样做外链wordpress 文章发布时间
Temperature 是在LLM中的每一层发挥作用，还是最后一层？
Temperature（温度）参数是在LLM的最后一层发挥作用。
在LLM推理时，通常会逐个token进行生成。模型的最后一层会输出对应所有可能token的原始分数（logits）。温度参数通过对这些原始logits进行缩放，再经过softmax函数生成最终概率分布，从而控制生成结果的随机性。例如，当温度大于1时，概率分布趋于平缓，低概率词被选中的机会增加；当温度小于1时，概率分布趋于尖锐，模型更倾向于选择高概率词。
LLM中的 Temperature 参数 是怎么计算的
在LLM生成文本时，Temperature（温度）的核心作用是通过“缩放模型输出的原始分数（Logits）”，调整候选词的概率分布，最终影响下一个词的选择。它的计算逻辑非常直观，仅作用于模型生成的最后一步（对Logits的处理），而非模型内部的层间计算。
一、Temperature的计算逻辑（公式+步骤）
LLM生成下一个词的过程可简化为3步：
- 模型输出“原始分数（Logits）”：对所有可能的候选词（比如“天空”“蓝色”“白云”等）给出一个未归一化的数值（可正可负，数值越高表示模型认为该词越合适）；
- 温度缩放Logits：用温度（T）对Logits进行除法运算（L