第四节 chatPDF
一、Rag 向量数据库
1.向量相似度
欧式距离越小,相似度越高;余弦距离越大相似度越高。
2.配置向量模型
embedding: 嵌入,把…牢牢地嵌入
意思: 把文字转化为向量坐标嵌入到八维空间。
spring.ai.openai.embedding.options.dimensions=2048
spring.ai.openai.embedding.options.model=text-embedding-v4
3.使用EmbeddingModel
3.1 给测试脚本配置环境变量
OPENAI_API_KEY=sk-6c6026***854ca44
3.2 编辑测试脚本
package com.spring.springai;import com.spring.springai.mapper.CourseMapper;
import org.junit.jupiter.api.Test;
import org.springframework.ai.openai.OpenAiEmbeddingModel;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.util.Arrays;import static org.junit.jupiter.api.Assertions.assertNotNull;@SpringBootTest
class SpringaiApplicationTests {@Autowiredprivate OpenAiEmbeddingModel openAiEmbeddingModel;@Testvoid contextLoads() {float[] floats = openAiEmbeddingModel.embed("学java就到黑马程序员");System.out.println(Arrays.toString(floats));}// 测试 mapper/*@Autowiredprivate CourseMapper mapper;@Testvoid testSelect() {assertNotNull(mapper.selectById(1));}*/}
3.3 测试欧式距离和余弦距离
package com.spring.springai;import com.spring.springai.mapper.CourseMapper;
import com.spring.springai.utils.VectorDistanceUtils;
import org.junit.jupiter.api.Test;
import org.springframework.ai.openai.OpenAiEmbeddingModel;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.util.Arrays;
import java.util.List;import static org.junit.jupiter.api.Assertions.assertNotNull;@SpringBootTest
class SpringaiApplicationTests {@Autowiredprivate OpenAiEmbeddingModel openAiEmbeddingModel;@Testvoid contextLoads() {float[] floats = openAiEmbeddingModel.embed("学java就到黑马程序员");System.out.println(Arrays.toString(floats));}/*** 测试向量距离*/@Testpublic void testEmbedding() {// 1.测试数据// 1.1.用来查询的文本,国际冲突String query = "global conflicts";// 1.2.用来做比较的文本String[] texts = new String[]{
// "哈马斯称加沙下阶段停火谈判仍在进行 以方尚未做出承诺","伊朗与以斯列互射导弹","胡塞武装公布魔法海洋号被击沉全程","74岁老戏骨捧花接小36岁未婚妻出狱","土耳其、芬兰、瑞典与北约代表将继续就瑞典“入约”问题进行谈判","日本航空基地水井中检测出有机氟化物超标","国家游泳中心(水立方):恢复游泳、嬉水乐园等水上项目运营","我国首次在空间站开展舱外辐射生物学暴露实验",};System.out.println("文本个数:" + texts.length);// 2.向量化System.out.println("------计算欧氏距离start------------");// 2.1.先将查询文本向量化float[] queryVector = openAiEmbeddingModel.embed(query);// 2.2.再将比较文本向量化,放到一个数组List<float[]> textVectors = openAiEmbeddingModel.embed(Arrays.asList(texts));// 3.比较欧氏距离// 3.1.把查询文本自己与自己比较,肯定是相似度最高的System.out.println(VectorDistanceUtils.euclideanDistance(queryVector, queryVector));// 3.2.把查询文本与其它文本比较for (float[] textVector : textVectors) {System.out.println(VectorDistanceUtils.euclideanDistance(queryVector, textVector));}System.out.println("------计算欧氏距离end,计算余弦距离 start------------");// 4.比较余弦距离// 4.1.把查询文本自己与自己比较,肯定是相似度最高的System.out.println(VectorDistanceUtils.cosineDistance(queryVector, queryVector));// 4.2.把查询文本与其它文本比较for (float[] textVector : textVectors) {System.out.println(VectorDistanceUtils.cosineDistance(queryVector, textVector));}System.out.println("------欧式距离越小,相似度越高;余弦距离越大相似度越高。------------");}// 测试1. mapper/*@Autowiredprivate CourseMapper mapper;@Testvoid testSelect() {assertNotNull(mapper.selectById(1));}*/}
结算结果:
参考:https://blog.csdn.net/2201_75669520/article/details/148813100