rag文本切块

naive chunk

固定大小文本切块

大模型应用开发框架LangChain为用户提供了RecursiveCharacterTextSplitter文本切分方法，在尽量保证上下文完整性的情况下，允许文本块的大小略微偏离预设大小。调用方式如下：

特殊格式文本切块

对诸如HTML、Markdown、LaTeX、Python代码等具有特殊内在结构的文本进行切块。在进行切块时，应充分考虑其结构信息，以减少因文本切块而导致的上下文信息损失。LangChain为用户提供了多种特殊文本切块方法，具体如表4-1所示。处理Python代码、Markdown、LaTeX的方法非常简单，针对不同的文本类型默认设置了不同的分割符列表，然后进一步调用固定大小文本切块方法

RecursiveCharacterTextSplitter。此外，LangChain还为用户预定义了其他常用编程语言（如Go、C++、Java）的分割符列表，但并未定义分割这些编程语言文本的类接口。如果用户需要，则可以按照PythonCodeTextSplitter的实现方法进行快速定义。

其他

业界常用的方案，比如根据文本内容，将每个字标题下的文本分为一块