当前位置: 首页 > news >正文

第四节 chatPDF

一、Rag 向量数据库

1.向量相似度

欧式距离越小,相似度越高;余弦距离越大相似度越高。

2.配置向量模型

embedding: 嵌入,把…牢牢地嵌入

意思: 把文字转化为向量坐标嵌入到八维空间。

spring.ai.openai.embedding.options.dimensions=2048
spring.ai.openai.embedding.options.model=text-embedding-v4
3.使用EmbeddingModel

3.1 给测试脚本配置环境变量
OPENAI_API_KEY=sk-6c6026***854ca44

 

3.2 编辑测试脚本
package com.spring.springai;import com.spring.springai.mapper.CourseMapper;
import org.junit.jupiter.api.Test;
import org.springframework.ai.openai.OpenAiEmbeddingModel;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.util.Arrays;import static org.junit.jupiter.api.Assertions.assertNotNull;@SpringBootTest
class SpringaiApplicationTests {@Autowiredprivate OpenAiEmbeddingModel openAiEmbeddingModel;@Testvoid contextLoads() {float[] floats = openAiEmbeddingModel.embed("学java就到黑马程序员");System.out.println(Arrays.toString(floats));}// 测试 mapper/*@Autowiredprivate CourseMapper mapper;@Testvoid testSelect() {assertNotNull(mapper.selectById(1));}*/}

3.3 测试欧式距离和余弦距离
package com.spring.springai;import com.spring.springai.mapper.CourseMapper;
import com.spring.springai.utils.VectorDistanceUtils;
import org.junit.jupiter.api.Test;
import org.springframework.ai.openai.OpenAiEmbeddingModel;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.util.Arrays;
import java.util.List;import static org.junit.jupiter.api.Assertions.assertNotNull;@SpringBootTest
class SpringaiApplicationTests {@Autowiredprivate OpenAiEmbeddingModel openAiEmbeddingModel;@Testvoid contextLoads() {float[] floats = openAiEmbeddingModel.embed("学java就到黑马程序员");System.out.println(Arrays.toString(floats));}/*** 测试向量距离*/@Testpublic void testEmbedding() {// 1.测试数据// 1.1.用来查询的文本,国际冲突String query = "global conflicts";// 1.2.用来做比较的文本String[] texts = new String[]{
//                "哈马斯称加沙下阶段停火谈判仍在进行 以方尚未做出承诺","伊朗与以斯列互射导弹","胡塞武装公布魔法海洋号被击沉全程","74岁老戏骨捧花接小36岁未婚妻出狱","土耳其、芬兰、瑞典与北约代表将继续就瑞典“入约”问题进行谈判","日本航空基地水井中检测出有机氟化物超标","国家游泳中心(水立方):恢复游泳、嬉水乐园等水上项目运营","我国首次在空间站开展舱外辐射生物学暴露实验",};System.out.println("文本个数:" + texts.length);// 2.向量化System.out.println("------计算欧氏距离start------------");// 2.1.先将查询文本向量化float[] queryVector = openAiEmbeddingModel.embed(query);// 2.2.再将比较文本向量化,放到一个数组List<float[]> textVectors = openAiEmbeddingModel.embed(Arrays.asList(texts));// 3.比较欧氏距离// 3.1.把查询文本自己与自己比较,肯定是相似度最高的System.out.println(VectorDistanceUtils.euclideanDistance(queryVector, queryVector));// 3.2.把查询文本与其它文本比较for (float[] textVector : textVectors) {System.out.println(VectorDistanceUtils.euclideanDistance(queryVector, textVector));}System.out.println("------计算欧氏距离end,计算余弦距离 start------------");// 4.比较余弦距离// 4.1.把查询文本自己与自己比较,肯定是相似度最高的System.out.println(VectorDistanceUtils.cosineDistance(queryVector, queryVector));// 4.2.把查询文本与其它文本比较for (float[] textVector : textVectors) {System.out.println(VectorDistanceUtils.cosineDistance(queryVector, textVector));}System.out.println("------欧式距离越小,相似度越高;余弦距离越大相似度越高。------------");}// 测试1. mapper/*@Autowiredprivate CourseMapper mapper;@Testvoid testSelect() {assertNotNull(mapper.selectById(1));}*/}

结算结果:

参考:https://blog.csdn.net/2201_75669520/article/details/148813100

http://www.dtcms.com/a/271152.html

相关文章:

  • 机器视觉之工业相机讲解
  • unity animtor播放动画的指定位置
  • spring boot使用mybatis-plus实现分页功能
  • C++学习笔记三
  • MATLAB基于voronoi生成三维圆柱形
  • Token 和 Embedding的关系
  • 基于AOP+Redis的简易滑动窗口限流
  • C#基础篇(10)集合类之列表
  • 列表页智能解析算法:大规模数据采集的核心引擎
  • 2024-2025-2 山东大学《编译原理与技术》期末(回忆版)
  • 【ARM嵌入式汇编基础】- 操作系统基础(二)
  • JSP数据交互
  • php绘图添加水印,文字使用imagick库的操作
  • Docker 高级管理-容器通信技术与数据持久化
  • C语言结构体对齐
  • SpringCloud系列 - xxl-job 分布式任务调度 (七)
  • 链表和数组和列表的区别
  • 力扣网编程150题:加油站(贪心解法)
  • Origin将Y偏移图升级为双Y轴3D瀑布图
  • SAP-ABAP:SAP中‘SELECT...WHERE...IN’语句IN的用法详解
  • 想要抢早期筹码?FourMeme专区批量交易教学
  • Cadence模块复用
  • SQL 视图与事务知识点详解及练习题
  • 基于Spring Boot+Vue的巴彦淖尔旅游网站(AI问答、腾讯地图API、WebSocket及时通讯、支付宝沙盒支付)
  • 等价矩阵和等价向量组
  • JavaScript基础篇——第五章 对象(最终篇)
  • 深度学习模型在C++平台的部署
  • 优化 FLUX.1 Kontext 以进行低精度量化的图像编辑
  • Flowable17错误事件---------------持续更新中
  • ali linux 安装libreoffice