网站生成手机站网站建设电子商务

TextSplitter

spring-ai有一个文本分割器接口，TextSplitter

spring-ai本身仅提供了一个TokenTextSplitter，按照token个数进行切分

但是这样的切分策略很容易在段落或句子中间断开，造成语义的割裂，很难保持语义完整性

SentenceSplitter

spring-ai-alibaba为了解决这个问题，提供了一个SentenceSplitter

不过该切分器是使用opennlp的SentenceModel进行句子切分，底层是一个训练好的拆分句子的模型，像是一个黑盒，并不容易理解

RecursiveCharacterTextSplitter

最近，spring-ai-alibaba新增了一个RecursiveCharacterTextSplitter，迭代字符文本分割器

该分割器的逻辑也很容易理解，就是维护一个分隔符列表，首先使用第一个分隔符进行分割，如果文本大小不满足要求，就继续用下一个分隔符进行分割，直到分隔符用完，就按设置的文本大小进行分割

相比于英文中，句号和小数点共用，中文有自己专用的句号，使用句号进行分割不容易失误，更适合中文环境下使用

默认分隔符列表是{ "\n\n", "\n", "。", "！", "？", "；", "，", " " }，代表双换行符、单换行符、中文句号、中文叹号、中文问号、中文分号、中文逗号、空格

代码调用

        List<Document> documents = ...RecursiveCharacterTextSplitter splitter = new RecursiveCharacterTextSplitter();documents = splitter.split(documents);

调用方法很简单，new 一个 RecursiveCharacterTextSplitter，然后调用split方法即可

默认文本块大小为1024，支持自定义分隔符列表

ps：该类目前还未发布到中央仓库，使用需自行编译打包，或等待新版本（>1.0,0,2）