一些模型测试中的BUG和可能解决方法
一些模型测试中的BUG和可能解决方法
模型一直重复反馈相同内容的问题查找思路
如下顺序也是排查优先级
- 检查提示词和上下文，保证提示词中没有类似的要求，然后再查看上下文是不是占满了token长度。
- 检查一下选择的model是不是本身就有这样的问题
- 尝试增加repeat_penalty（1.05、1.1，最大1.15或者1.2），看看是否会出现不自然的反馈。
- 利用frequency_penalty（0.1-0.5）减少重复使用的tokens，或者使用presence_penalty（0.1-0.5）减少上线文的重复tokens。
- 稍微增长一点min_p（例如增长到0.1），或者增长top_p到0.85，过滤掉一些由于低概率的tokens导致的循环。
- 如果temperature设置的比较高，可以尝试降低一点（例如降到0.7、0.8）
模型输出太随机相关性差
如下顺序也是排查优先级
- 增加temperature
- 降低min_p到0.05，或者更低的0.03