大型语言模型（LLM）存在演示位置偏差：相同示例在提示中位置不同会导致模型预测结果和准确率显著变化
大型语言模型（LLM）存在演示位置偏差：相同示例在提示中位置不同会导致模型预测结果和准确率显著变化
马里兰大学团队的论文揭示了大型语言模型（LLM）存在演示位置偏差（DPP Bias），即相同示例在提示中位置不同会导致模型预测结果和准确率显著变化。研究定义了ssp（系统提示开头）、esp（系统提示末尾）、sum（用户消息开头，默认）、eum（用户消息末尾）四种位置配置，通过准确率变化（Δ_metric） 和预测变化率（Δ_pred） 量化偏差。结果显示，ssp表现最稳健，eum常导致性能崩溃（如Cohere-8B在SQuAD上F1分数从84.34%暴跌至10.9%），且偏差受模型规模和任务类型影响（小模型更敏感，大模型鲁棒性更强但未根除）。该发现挑战了“示例位置无关”的常识，为提示工程提供了新优化方向。
思维导图（mindmap）：
## **研究背景**
- 大型语言模型（LLM）具备上下文学习（ICL）能力
- 传统认知：示例质量决定效果，位置无关
## **DPP偏差核心**
- 定义：示例位置改变导致预测和准确率系统性变化
- 量化指标- 准确率变化（Δ_metric = 位置准确率 - 零示例准确率）- 预测变化率（Δ_pred = 答案改变数 / 总问题数）
- 位置配