基于动态增强的 LLM 置信度方法研究

基于动态增强的 LLM 置信度方法研究

一、引言（Introduction）
大型语言模型（LLM）的性能提升高度依赖于对模型内部表征的精准调控 —— 表征工程通过优化模型中间层隐藏状态的传递规律，能够在不改变模型参数的前提下显著提升任务适应性（Wei et al., 2022）。当前主流方法中，静态微调（如 LoRA）需额外存储参数，而提示工程依赖人工设计，均存在灵活性与效率的平衡问题。更关键的是，LLM 中间层隐藏状态包含层级化的语义信息（Meng et al., 2022），现有方法多忽略 “重要特征强化 - 次要特征抑制” 的动态调整，导致表征传递中的噪声累积。
本研究的核心意义在于提出一种实时中间层增强机制：通过拦截模型前向传播中的隐藏状态，基于特征重要性动态调整表征强度，既避免参数微调的存储开销，又能针对性强化关键语义信号。从技术层面，该方法解决了中间层干预中的数据类型一致性问题（如 float16 精度适配），为轻量化表征优化提供了可复用的工程范式；从理论层面，其通过数学化的特征筛选与加权策略，揭示了 “层级表征增益” 与生成质量的关联规律。
具体而言，本文方法通过三个核心步骤实现：1）定义基于绝对值的特征重要性度量，筛选 top-k 关键特征；2）构建增强 - 抑制掩码对隐藏状态进行加权调整；3）通过钩子机制实现前向传播中的实时干预与后处理恢复。该方法在 Qwen2-7B-Instruct 模型上的实验显示，其无需预训练或微调即可提升生成结果的准确性与聚焦性。
二、相关工作（Related Work）
2.1 LLM 表征工程的发展脉络（2020-2025）
LLM 表征工程的研究随模型规模扩张逐步从 “参数调整” 转向 “表征调控”。2020