大语言模型涉及的一些概念（持续更新）

1、entropy

在自然语言处理（NLP）和机器学习中，entropy（熵）是一个非常重要的概念，来自信息论（Information Theory），本质上是用来衡量“不确定性”或“信息量”的。

通俗理解 Entropy（熵）

熵 = 不确定性 = 随机程度

举例：

• 如果一个模型输出的概率分布是：
  {"猫": 0.33, "狗": 0.33, "鸟": 0.34}
  → 表示模型非常不确定 → 熵高

• 如果输出是：
  {"猫": 0.98, "狗": 0.01, "鸟": 0.01}
  → 模型很有把握 → 熵低

2、token

什么是 Token？

Token（标记） 是把文本分割成模型可理解的“最小单位”，可以是：

类型	示例	描述
单词级 token	["I", "am", "happy"]	一个词就是一个 token（粗粒度）
子词级 token	["un", "happi", "ness"]	把词拆成词根+后缀（BPE等方法）
字符级 token	["h", "e", "l", "l", "o"]	每个字符一个 token（细粒度）

不同模型和 tokenizer 使用不同的分词策略。