LoRA 微调后幻觉排查 Checklist
1. 数据层面
数据量够吗？
少量样本（几千条以下）容易导致过拟合和幻觉。
数据是否高质量？
是否有事实错误、模糊答案？
覆盖范围够吗？
是否只覆盖了窄领域，而推理时遇到“未见过”的问建议：扩大数据集规模、清洗低质量样本、增加多样化覆盖。
2. 模型层面
基座模型本身是否容易幻觉？
有些大模型本来就事实性较差，LoRA 无法根本修复。
LoRA rank / α 参数是否过小？
表达能力不足，导致模型无法学到可靠约束。
是否考虑了 PEFT 以外的方法？
比如 Adapter、Prefix Tuning，某些任务比 LoRA 更合适。
建议：调大 LoRA rank，或者尝试混合参数高效微调方法。
3. 训练策略层面
训练目标是否合理？
仅 SFT（监督微调）可能让模型“会说话”，但不会“说真话”。
是否做了对齐训练（RLHF / DPO / contrastive loss）？
没有对齐，模型更容易随便编造。
是否检查过过拟合？
训练集上表现很好，但验证集/推理时出现幻觉 → 过拟合信号。
建议：在 SFT 后补充对齐训练，引入 fact-check loss 或 RLHF。
4. 推理层面
解码策略是否过于自由？
Temperature 太高、top-p 太大 → 输出更随机 → 幻觉增多。
是否提供了足够的上下文？
提示词没给足背景，模型就会凭空填补。
是否尝试过工具调用 / RAG？
纯模型生成往往难以保证事实性，可以加外部知识库检索。
建议：
降低 temperature（如 0.2~0.5），收紧 top-p。
优化 prompt，加入“不要编造，如果不知道就回答不知道”。
加入 RAG（检索增强生成），让模型有知识支撑。
总结路径
先看数据 → 够不够、准不准。
再看 LoRA 参数 → rank、适配能力。
再看训练方式 → 是否仅做了 SFT，缺乏对齐。
最后看推理设置 → 解码参数、上下文、工具辅助。