当前位置：首页 > news >正文

中科院：通过内部表示优化LLM上下文利用

news 来源：原创 2025/5/2 7:18:48

在这里插入图片描述

📖标题：Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement
🌐来源：arXiv, 2504.15630

🌟摘要

🔸大型语言模型（LLM）在各种任务中表现出了卓越的能力，但它们经常难以正确反映上下文知识的上下文忠实性。虽然现有的方法侧重于增强解码策略，但它们忽略了LLM内部状态中如何处理上下文信息的基本机制。因此，LLM充分利用上下文知识的能力仍然有限。
🔸在这篇论文中，我们提出了上下文感知层增强（CaLE），这是一种新的干预方法，可以提高LLM内部表示中上下文知识的利用率。通过采用V-usable信息分析，CaLE在最优层策略性地放大了上下文信息的增长，从而丰富了最后一层的表示。
🔸我们的实验表明，CaLE有效地提高了问答任务中的上下文忠实生成，特别是在涉及未知或冲突上下文知识的场景中。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在生成过程中如何有效利用上下文信息，特别是在应对外部知识时的保真度不足？
🔸主要贡献：论文提出了一种上下文感知层增强（CaLE）的方法，通过对模型内部表示的上下文信息进行增强，以提高LLM在问答任务中的上下文保真性。

📝重点思路

🔸通过分析不同模型层之间的上下文信息流，提出了一种度量模型内部状态对生成回答保真度贡献的方法。
🔸基于V-usable信息，CaLE方法识别出上下文感知层，并通过放大或残差连接增强该层的表示。
🔸引入两种层增强方法：残差连接（CaLE-R）和表示放大（CaLE-A），以提升最终层的上下文信息。
🔸对多种问答数据集进行实验，包括CounterFact、Natural Questions、SQuAD和StrategyQA，验证CaLE的有效性。

🔎分析总结

🔸实验结果表明，CaLE显著提高了下游任务中的上下文保真生成能力，尤其是在处理未知或冲突的上下文知识时效果显著。
🔸CaLE方法对上下文利用的增强是独立于现有解码策略的，表明其通用性。
🔸通过对比不同的层增强方法，发现CaLE-A在处理新事实知识时表现更为优越，而CaLE-R在生成一致的内部和外部知识方面表现较好。
🔸无论采用哪种解码方法，CaLE均表现出较高的准确性，显示出其在不同模型架构下的稳健性和有效性。