RAG进阶之术:用“父子Chunk”策略破解复杂查询的“上下文迷局”
1. 引言:RAG中的复杂上下文问题与父子Chunk的方案
RAG系统的核心在于“检索”这一环。检索的质量直接决定了提供给LLM的上下文质量,从而决定了最终答案的质量。传统分块策略面临的困境,本质上是**检索精度(Precision)和上下文完整性(Completeness/Recall of Context)**之间的矛盾。
- 高精度检索需要:分块小而精,每个块只围绕一个核心语义点,这样查询向量才能与目标块的向量高度相似。
- 高完整性上下文需要:分块大而全,包含足够的背景信息、前后文联系,让LLM能够理解一个信息点在更大图景中的位置。
父子Chunk策略通过一种巧妙的“解耦”思路,优雅地解决了这个矛盾。它将用于检索的单元和用于生成的单元分离开来:
- 用“子Chunk”(小块)来进行高精度检索。
- 用“父Chunk”(大块)来提供丰富的上下文。
通过这种方式,我们既能利用小块的精准定位能力,又能享受大块的完整上下文,从而有效破解“上下文迷局”。