【大模型】RAG

大纲

1. 用垂域数据，补充LLM的能力
2. 构建垂域（向量）知识库
3. 搭建RAG系统需要的模块
4. 搭建RAG系统的技巧

一、什么是RAG（检索增强的生成模型）

LLM大模型（预训练模型）

目前的局限性：

1. LLM的知识不是实时的
2. 不知道私域知识

RAG - retrieval augmented generation

用检索的方法来增强生成模型的能力。

RAG系统的基本搭建流程

二、向量检索

2.1 文档的加载和切割

openai_api_key

2.2 LLM接口封装

2.3 prompt模版

三、向量检索

向量：从一个点到另一个点到有向线段。

向量的维度：用一组坐标，表示n维空间中的向量，N是向量的维度。

文本向量：text embeddings 将文本转成一组N维浮点数。

语义相似度：向量之间的距离，距离的远近。

3.1 文本向量是怎么得到的

3.2 计算向量间的相似度

numpy 是数据科学中，pyprch的三剑客，