西安有几个区百度seo优化分析
目录
1.Top-K
2.Top-P 采样
3. Beam Search（束搜索）
4. Greedy Search（贪心搜索）
5.Temperature（温度） 是如何控制生成文本的随机性的
生活中的类比：天气预报
总结：温度的“魔法”
6. 温度与其他策略的搭配
Top-K
1.Top-K
一种通过限制候选词汇（token）数量来增加生成文本多样性的方法。在每一步生成过程中，模型只考虑概率最高（Top）的 K 个词汇，然后从这 K 个词汇中根据概率进行采样（K=1 就是贪心搜索）。
步骤:
- 获取概率分布: 模型为每个可能的下一个词汇生成一个概率分布。
- 筛选 Top-K: 选择概率最高的 K 个词汇，忽略其余词汇。
- 重新归一化: 将筛选后的 K 个词汇的概率重新归一化，使其总和为 1。
- 采样: 根据重新归一化后的概率分布，从 Top-K 词汇中随机采样一个词汇作为下一个生成的词。
- 假设你设定K=5，那么每次只考虑概率最高的前5个词，随机选其中一个
2.Top-P 采样
- 获取概率分布: 模型为每个可能的下一个词汇生成一个概率分布。
- 排序概率: 将词汇按照概率从高到低排序。
- 累积概率: 计算累积概率，直到达到预设的阈值 P。
- 筛选 Top-P: 选择累积概率达到 P 的最小词汇集合。
- 重新归一化: 将筛选后的词汇概率重新归一化。
- 采样: 根据重新归一化后的概率分布，从 Top-P 词汇中随机采样一个词汇作为下一个生成的词。
按概率从高到低累加，直到总和达到P（如0.9），然后在这个范围内随机选词。
3. Beam Search（束搜索）
比喻：
你同时走 多条路线（比如同时尝试3条不同的路），每一步都记录所有可能的路径，但只保留最有可能的前几条（比如保留前2条）。
4. Greedy Search（贪心搜索）
比喻：
你在一个迷宫里，每一步都只选择当前看起来“最明显”的路（比如最宽、最亮的路）。
问题：
虽然每一步都选了“当前最好”的路，但可能被误导到死胡同，或者错过更优的路线。
例子：
生成句子时，每次都选概率最高的词，比如“今天天气很好，我去了公园，然后……”可能停在“然后”后面，因为“然后”后面有很多常见词（如“散步”“玩”），但可能缺乏逻辑或创意。
5.Temperature（温度） 是如何控制生成文本的随机性的
想象你是一个赌徒，手里有不同面值的纸币，每张纸币代表一个词的概率。温度参数就像你的“醉酒程度”：
生活中的类比：天气预报
假设天气模型预测明天的天气概率是：
晴天70%，雨天20%，雪天10%。
总结：温度的“魔法”
- 温度越低（接近0）：你清醒得像机器人，只选面值最大的纸币（确定性）。
- 温度=1：你清醒但有点犹豫，按原计划随机选择（保持原分布）。
- 温度越高（>1）：你喝得越多，选择越“不靠谱”，可能拿最小面值的纸币（增加随机性）。
-
假设你有三个骰子，分别代表三个词的概率：
温度 概率分布（原始） 调整后骰子的“重量” 生成结果 0.5（低温） 苹果50%、香蕉30%、橘子20% 苹果骰子极重，香蕉和橘子几乎不动 几乎总选苹果（像Greedy Search） 1（中温） 不变 三个骰子重量平衡 随机但按原比例选 2（高温） 苹果≈35%、香蕉≈33%、橘子≈32% 三个骰子重量接近 苹果、香蕉、橘子都有机会（更随机）
6. 温度与其他策略的搭配
- Temperature + Greedy Search：
温度=0时，等同于Greedy Search（只选最高概率）。 - Temperature + Top-K采样：
先选Top-K个词，再用温度调整它们的概率。比如K=2时，可能让低概率的“橘子”有更多机会。 - Temperature + Top-P采样：
先选Top-P概率的词，再用温度调整它们的概率分布。 - 温度=1（正常）：按原概率随机选择，大概率晴天，但偶尔下雨或下雪。
- 温度=0.3（低温）：几乎肯定晴天，完全忽略雨雪。
- 温度=2（高温）：晴天概率降到约50%，雨雪概率大幅提升，可能突然下雪！
- 温度越低：生成结果越确定，但可能单调或重复。
- 温度=1：保持原分布，平衡质量与多样性。
- 温度越高：生成结果越随机，可能更有趣但风险更大（比如生成无意义的词）。