来看两篇RAG相关的优化工作：多跳查询的优化L-RAG以及利用记忆增强的查询重构MemQ框架
增强多跳文档检索的分层表示方法（Layer-wise Retrieval-Augmented Generation, L-RAG)
分层检索增强生成（L-RAG），旨在优化多跳文档检索，以解决现有检索增强生成（RAG）方法的局限性。标准RAG在处理复杂的多跳查询时表现不佳，并且由于迭代处理引入了显著的计算开销。L-RAG通过利用大语言模型（LLMs）的中间表示来提升检索效率，这些中间层的表示通常包含比最终层输出更细致的信息，从而使得有效的外部知识检索成为可能，而无需生成复杂的内部查询。
主要贡献
1. 信息处理模式分析:SVD分析
通过奇异值分解（SVD）分析权重矩阵，揭示LLMs中的三阶段信息处理模式，过程包括提取、处理和后续提取，从而验证中间层表示的信息含量更为丰富的信息。具体步骤如下：
- 1.权重矩阵分解
使用SVD将LLM的权重矩阵 W v W_{v} Wv 分解为三个矩阵 U U U、 Σ \Sigma Σ 和 V V V，其中 Σ \Sigma Σ 是对角矩阵，包含奇异值 σ \sigma σ， U U U 和 V V V 是正交矩阵。 - 2.变换方向
定义变换方向 Direction ( W v ) = [ u 1 v 1 T , … , u r v r T ] \operatorname{Direction}\left(W_{v}\right)=\left[u_{1} v_{1}^{T},\ldots, u_{r} v_{r}^{T}\right] Direction(Wv)=[u1v1T,