网站域名备案与解析5g网络优化工程师
为了将大语言模型植入到小程序中，来支持用户的问答。那我们首先需要做的是什么呢，不是引入大语言模型，而且为大语言模型搭建一个私有化知识库，但是这是这节呢，我们先不搭建私有化知识库，在这之前，我们还需要做一个前置工作，那就是数据准备。
小版本的语言模型本身的能力不像大参数量的模型那样，有用强大的知识库和泛化能力。我们需要为其提供一个外部的知识库，为模型提供额外的知识储备，进而利用模型的推理能力回答用户的问题。搭建知识库之前，我们就需要将数据，存储到知识库中。那么首先，我们就需要解析文件得到元数据。
一、文本解析
为了解析到元数据，我们采用一个开源的工具，Apache Tika进行文件内容解析，这是一个由java开发的内容分析工具包。
<dependency><groupId>org.apache.tika</groupId><artifactId>tika-core</artifactId><version>3.0.0</version>
</dependency>
<dependency><groupId>org.apache.tika</groupId><artifactId>tika-parsers-standard-package</artifactId><version>3.0.0</version>
</dependency>我们先创建一个工具类TikaUtil，编写一个函数用来解析我们传入的文件内容。
二、文本切片
有了向量数据库后，我们就需要把数据存入向量数据库中了，在这之前呢，我们需要写完成一个文件解析的功能，因为，要解释到元数据，才进行接下来的步骤，我们这里选择Apache Tika进行文件内容解析，这是一个由java开发的内容分析工具包。
<dependency><groupId>org.apache.tika</groupId><artifactId>tika-core</artifactId><version>3.0.0</version>
</dependency>
<dependency><groupId>org.apache.tika</groupId><artifactId>tika-parsers-standard-package</artifactId><version>3.0.0</version>
</dependency>我们先创建一个工具类TikaUtil，编写一个函数用来解析我们传入的文件内容。
public String extractText(MultipartFile file) {try {// 创建解析器--在不确定文档类型时候可以选择使用AutoDetectParser可以自动检测一个最合适的解析器Parser parser = new AutoDetectParser();// 用于捕获文档提取的文本内容。-1 参数表示使用无限缓冲区,解析到的内容通过此hander获取BodyContentHandler bodyContentHandler = new BodyContentHandler(-1);// 元数据对象，它在解析器中传递元数据属性---可以获取文档属性Metadata metadata = new Metadata();// 带有上下文相关信息的ParseContext实例，用于自定义解析过程。ParseContext parseContext = new ParseContext();parser.parse(file.getInputStream(), bodyContentHandler, metadata, parseContext);// 获取文本return bodyContentHandler.toString();} catch (Exception e) {e.printStackTrace();return null;}}我们使用该工具即可获得文件的元数据。但是在问答的时候，我们不能将整个文件全部输入到大模型中，一方面是模型本身是拥有上上下文窗口大小限制，另一方面是大量的信息可能影响模型的推理时间和准确率。为了解决这种情况，我们需要将文本分块，把内容切割成一个一个的文本块，将每个块作为一个知识单元，再将其转换为向量表示存入向量数据库，这样大模型在检索的时候只需要将相关的文本块添加到上下文中，既能保证回答的准确性，也解决了上下文过长的问题。
对于分块的方法，在Langchain框架中，有多种分块策略：
固定大小分块：按固定字符数或单词数分割文本，简单直接，但可能破坏句子或段落的完整性。
按句子分块：使用自然语言处理工具（如NLTK、spaCy）按句子边界分割文本，适合处理句子级别的任务。
按段落分块：按段落分割文本，适合处理段落级别的任务，段落通常由换行符分隔。
重叠分块：在固定大小分块的基础上，允许块之间有重叠部分，避免信息丢失。
递归分块：递归地将文本分割成更小的部分，直到满足特定条件，适合处理复杂文本结构。
语义分块：根据语义或主题分割文本，通常需要自然语言处理技术识别语义边界。
在java社区，Langchain4J 旨在为 Java 开发者提供类似于 LangChain（基于 Python）的功能。LangChain4J 的目标是将 LangChain 的核心概念和功能移植到 Java 生态系统中，使 Java 开发者能够更方便地构建基于大语言模型（LLMs）的应用程序。Langchain4J
Langchain4J也为我们提供了多种文本分块方法：
DocumentByParagraphSplitterDocumentByLineSplitterDocumentBySentenceSplitterDocumentByWordSplitterDocumentByCharacterSplitterDocumentByRegexSplitter- Recursive:
DocumentSplitters.recursive(...)
在这之前，我们先新建一个TikaVo类，用作传输文档解析分片后的结果。
@Accessors(chain = true)
@Data
public class TikaVo implements Serializable {private List<String> text;private List<String> metadata;
}
这里，我们采用递归分割的方式，将输入的文本分割成块。
private TikaVo splitParagraphs(String content) {DocumentSplitter splitter = DocumentSplitters.recursive(TARGET_LENGTH, LENGTH_TOLERANCE, new OpenAiTokenizer());List<TextSegment> split = splitter.split(Document.document(content));return new TikaVo().setText(split.stream().map(TextSegment::text).toList()).setMetadata(split.stream().map(textSegment -> JSON.toJSONString(textSegment.metadata())).toList());}到这里，文件处理算是完成了，这里，我们可以写一个接口来测试一下效果,我这里就不展示了。感兴趣的小伙伴，也可以试试其他的切片方法。
后面，我们将介绍，如何将处理好的文本，存储到数据库中。