当前位置： 首页 > wzjs >正文

怎么建设素材网站博创网站建设团队

wzjs 2025/9/19 11:38:14
怎么建设素材网站,博创网站建设团队,WordPress 会员墙,犀牛建模教程在这篇博客中，我们将展示如何将 Milvus 和 Ollama 结合使用，完成文本的向量化并存储在 Milvus 向量数据库中，同时演示如何进行相似度搜索。Milvus 是一个高效的向量数据库，适用于大规模的相似度搜索任务，而 Ollama 提供…

在这篇博客中，我们将展示如何将 Milvus 和 Ollama 结合使用，完成文本的向量化并存储在 Milvus 向量数据库中，同时演示如何进行相似度搜索。Milvus 是一个高效的向量数据库，适用于大规模的相似度搜索任务，而 Ollama 提供了强大的文本嵌入功能，能将文本转换为向量。通过结合这两个工具，我们能够快速实现高效的文本搜索系统。

项目概述

  1. Milvus 用于存储向量数据和执行快速相似度搜索。
  2. Ollama 提供文本嵌入 API，将文本转化为高维向量，作为 Milvus 中存储的向量数据。
  3. 我们将首先在 Milvus 中创建一个集合，并定义存储结构，然后将文本数据和对应的向量插入到该集合中，最后实现向量的相似度查询。

环境准备

  • Milvus 服务器：用于存储向量数据，支持高效的相似度搜索，安装 这里。
  • Ollama 服务器：提供文本到向量的转换 API， 安装 这里。
  • Java 开发环境：我们使用 Java 编写本示例代码，调用 Milvus 的客户端 API 和 Ollama 的 API。

步骤 1：连接到 Milvus 服务器

首先，我们需要连接到 Milvus 服务器。配置连接时，我们需要指定 Milvus 的服务地址和访问凭证。代码如下：

String CLUSTER_ENDPOINT = "http://localhost:19530";
String TOKEN = "root:Milvus";// Milvus 连接配置
ConnectConfig connectConfig = ConnectConfig.builder().uri(CLUSTER_ENDPOINT).token(TOKEN).build();MilvusClientV2 client = new MilvusClientV2(connectConfig);

步骤 2：创建集合及其 Schema

在 Milvus 中，我们首先需要创建一个集合，并定义该集合的字段结构（Schema）。我们的集合将包含以下三个字段：

  1. id：主键字段，类型为 Int64。
  2. text：文本字段，类型为 VarChar，用于存储原始文本。
  3. vector：向量字段，类型为 FloatVector，存储文本的向量表示。
CreateCollectionReq.CollectionSchema schema = client.createSchema();schema.addField(AddFieldReq.builder().fieldName("id").dataType(DataType.Int64).isPrimaryKey(true).autoID(false).build());schema.addField(AddFieldReq.builder().fieldName("text").dataType(DataType.VarChar).maxLength(512).build());schema.addField(AddFieldReq.builder().fieldName("vector").dataType(DataType.FloatVector).dimension(768).build());

步骤 3：创建索引

为了提高查询效率，我们需要为 id 和 vector 字段创建索引。Milvus 支持多种索引类型，这里我们使用 Cosine 相似度作为度量方式。

IndexParam indexParamForIdField = IndexParam.builder().fieldName("id").indexType(IndexParam.IndexType.STL_SORT).build();IndexParam indexParamForVectorField = IndexParam.builder().fieldName("vector").indexType(IndexParam.IndexType.AUTOINDEX).metricType(IndexParam.MetricType.COSINE).build();List<IndexParam> indexParams = new ArrayList<>();
indexParams.add(indexParamForIdField);
indexParams.add(indexParamForVectorField);

步骤 4：插入向量数据

接下来，我们使用 Ollama 提供的 API 将文本转换为向量，并将这些向量插入到 Milvus 中。

String[] textArray = {"Hello, this is a test.", "Milvus is great for vector search.", "Ollama helps in text embedding."};List<float[]> vectors = new ArrayList<>();
for (String text : textArray) {// 调用 Ollama API 获取文本向量float[] vector = getTextEmbeddingFromOllama(OLLAMA_API_URL, text);vectors.add(vector);
}// 将文本和向量组合成 JSON 格式的插入数据
List<JsonObject> data = new ArrayList<>();
for (int i = 0; i < vectors.size(); i++) {JsonObject jsonObject = new JsonObject();jsonObject.addProperty("id", i);jsonObject.add("vector", gson.toJsonTree(vectors.get(i)));jsonObject.addProperty("text", textArray[i]);data.add(jsonObject);
}InsertReq insertReq = InsertReq.builder().collectionName("milvus_example").data(data).build();client.insert(insertReq);
System.out.println("Vectors inserted successfully into Milvus!");

步骤 5：进行相似度查询

最后，我们通过向量进行相似度查询。我们向 Milvus 提交一个查询向量，查询与之最相似的文本。

float[] queryVector = getTextEmbeddingFromOllama(OLLAMA_API_URL, "what about Milvus?");
FloatVec queryVectorFloatVec = new FloatVec(queryVector);SearchReq searchReq = SearchReq.builder().collectionName("milvus_example").topK(1)  // 获取最相似的 1 个结果.metricType(IndexParam.MetricType.COSINE)  // 使用余弦相似度.data(Collections.singletonList(queryVectorFloatVec)).outputFields(Collections.singletonList("text")).build();SearchResp searchResp = client.search(searchReq);
if (searchResp != null&& searchResp.getSearchResults() != null&& !searchResp.getSearchResults().get(0).isEmpty()&& searchResp.getSearchResults().get(0).get(0).getEntity() != null) {System.out.println("Search Results: " + gson.toJson(searchResp.getSearchResults().get(0).get(0).getEntity()));
} else {System.out.println("Search Results: null");
}

步骤 6：获取 Ollama 文本向量

为了获取文本的向量，我们调用 Ollama 的 Embedding API。通过向其发送请求，我们可以获得文本的嵌入向量。

public static float[] getTextEmbeddingFromOllama(String apiUrl, String text) {try {// 构造请求体JsonObject requestBody = new JsonObject();JsonArray inputArray = new JsonArray();inputArray.add(text);requestBody.add("input", inputArray);requestBody.addProperty("model", "nomic-embed-text");// 创建 OkHttp 请求RequestBody body = RequestBody.create(okhttp3.MediaType.parse("application/json; charset=utf-8"),gson.toJson(requestBody));OkHttpClient client = new OkHttpClient();Request request = new Request.Builder().url(apiUrl).post(body).build();// 执行请求并获取响应Response response = client.newCall(request).execute();if (!response.isSuccessful()) {System.out.println("Request failed: " + response.code());return new float[0];}// 解析响应数据String responseBody = response.body().string();JsonObject jsonResponse = gson.fromJson(responseBody, JsonObject.class);JsonArray embeddingsArray = jsonResponse.getAsJsonArray("data").get(0).getAsJsonObject().getAsJsonArray("embedding");// 将嵌入向量转换为 float 数组float[] vector = new float[embeddingsArray.size()];for (int i = 0; i < embeddingsArray.size(); i++) {vector[i] = embeddingsArray.get(i).getAsFloat();}return vector;} catch (IOException e) {e.printStackTrace();return new float[0];}
}

完整代码实例

import com.google.gson.Gson;
import com.google.gson.JsonArray;
import com.google.gson.JsonObject;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.service.collection.request.CreateCollectionReq;
import io.milvus.v2.service.collection.request.AddFieldReq;
import io.milvus.v2.common.DataType;
import io.milvus.v2.common.IndexParam;
import io.milvus.v2.service.collection.request.DescribeCollectionReq;
import io.milvus.v2.service.collection.request.HasCollectionReq;
import io.milvus.v2.service.vector.request.InsertReq;
import io.milvus.v2.service.vector.request.SearchReq;
import io.milvus.v2.service.vector.request.data.FloatVec;
import io.milvus.v2.service.vector.response.SearchResp;
import okhttp3.OkHttpClient;
import okhttp3.Request;
import okhttp3.RequestBody;
import okhttp3.Response;import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;public class MilvusOllamaExample {private static final Gson gson = new Gson();public static void main(String[] args) {// Milvus 集群的连接配置String CLUSTER_ENDPOINT = "http://localhost:19530";String TOKEN = "root:Milvus";// Ollama 的 Embedding API 端点String OLLAMA_API_URL = "http://localhost:11434/v1/embeddings";String CLLECTION_NAME = "milvus_example";// 1. 连接到 Milvus 服务器ConnectConfig connectConfig = ConnectConfig.builder().uri(CLUSTER_ENDPOINT).token(TOKEN).build();MilvusClientV2 client = new MilvusClientV2(connectConfig);// 检查并删除现有集合（如果存在）if (client.hasCollection(HasCollectionReq.builder().collectionName(CLLECTION_NAME).build())) {client.describeCollection(DescribeCollectionReq.builder().collectionName(CLLECTION_NAME).build());System.out.println("Collection deleted successfully!");}try {// 2. 创建 schemaCreateCollectionReq.CollectionSchema schema = client.createSchema();// 2.1 添加字段到 schemaschema.addField(AddFieldReq.builder().fieldName("id").dataType(DataType.Int64).isPrimaryKey(true).autoID(false).build());schema.addField(AddFieldReq.builder().fieldName("text").dataType(DataType.VarChar).maxLength(512)  // 设置 varchar 字段最大长度.build());schema.addField(AddFieldReq.builder().fieldName("vector").dataType(DataType.FloatVector).dimension(768)  // 设置向量维度.build());// 3. 准备索引参数IndexParam indexParamForIdField = IndexParam.builder().fieldName("id").indexType(IndexParam.IndexType.STL_SORT).build();IndexParam indexParamForVectorField = IndexParam.builder().fieldName("vector").indexType(IndexParam.IndexType.AUTOINDEX).metricType(IndexParam.MetricType.COSINE)  // 使用 COSINE 相似度.build();List<IndexParam> indexParams = new ArrayList<>();indexParams.add(indexParamForIdField);indexParams.add(indexParamForVectorField);// 4. 创建集合并设置索引CreateCollectionReq customizedSetupReq1 = CreateCollectionReq.builder().collectionName("milvus_example").collectionSchema(schema).indexParams(indexParams).build();client.createCollection(customizedSetupReq1);System.out.println("Collection created successfully!");// 5. 使用 Ollama 获取文本向量String[] textArray = {"Hello, this is a test.", "Milvus is great for vector search.", "Ollama helps in text embedding."};List<float[]> vectors = new ArrayList<>();for (String text : textArray) {// 调用 Ollama API 获取文本向量float[] vector = getTextEmbeddingFromOllama(OLLAMA_API_URL, text);vectors.add(vector);}// 6. 插入向量到 MilvusList<Long> ids = new ArrayList<>();for (int i = 0; i < textArray.length; i++) {ids.add((long) i);  // 简单地用索引作为 ID}// 将文本和向量组合成 JSON 格式的插入数据List<JsonObject> data = new ArrayList<>();for (int i = 0; i < vectors.size(); i++) {JsonObject jsonObject = new JsonObject();jsonObject.addProperty("id", i);jsonObject.add("vector", gson.toJsonTree(vectors.get(i)));jsonObject.addProperty("text", textArray[i]);data.add(jsonObject);}InsertReq insertReq = InsertReq.builder().collectionName("milvus_example").data(data).build();client.insert(insertReq);System.out.println("Vectors inserted successfully into Milvus!");// 7. 创建查询向量并执行搜索float[] queryVector = getTextEmbeddingFromOllama(OLLAMA_API_URL, "what about Milvus?");FloatVec queryVectorFloatVec = new FloatVec(queryVector);// 创建查询请求SearchReq searchReq = SearchReq.builder().collectionName("milvus_example").topK(1)  // 获取最相似的 1 个结果.metricType(IndexParam.MetricType.COSINE)  // 使用余弦相似度.data(Collections.singletonList(queryVectorFloatVec)).outputFields(Collections.singletonList("text")).build();// 执行查询操作SearchResp searchResp = client.search(searchReq);if (searchResp != null&& searchResp.getSearchResults() != null&& !searchResp.getSearchResults().get(0).isEmpty()&& searchResp.getSearchResults().get(0).get(0).getEntity() != null) {System.out.println("Search Results: " + gson.toJson(searchResp.getSearchResults().get(0).get(0).getEntity()));} else {System.out.println("Search Results: null");}} catch (Exception e) {e.printStackTrace();} finally {// 8. 关闭 Milvus 客户端连接client.close();}}// 调用 Ollama API 获取文本的向量public static float[] getTextEmbeddingFromOllama(String apiUrl, String text) {try {// 构造请求体JsonObject requestBody = new JsonObject();JsonArray inputArray = new JsonArray();inputArray.add(text);requestBody.add("input", inputArray);requestBody.addProperty("model", "nomic-embed-text");// 创建 OkHttp 请求RequestBody body = RequestBody.create(okhttp3.MediaType.parse("application/json; charset=utf-8"),gson.toJson(requestBody));OkHttpClient client = new OkHttpClient();Request request = new Request.Builder().url(apiUrl).post(body).build();// 执行请求并获取响应Response response = client.newCall(request).execute();if (!response.isSuccessful()) {System.out.println("Request failed: " + response.code());return new float[0];}// 解析响应数据String responseBody = response.body().string();JsonObject jsonResponse = gson.fromJson(responseBody, JsonObject.class);JsonArray embeddingsArray = jsonResponse.getAsJsonArray("data").get(0).getAsJsonObject().getAsJsonArray("embedding");// 将嵌入向量转换为 float 数组float[] vector = new float[embeddingsArray.size()];for (int i = 0; i < embeddingsArray.size(); i++) {vector[i] = embeddingsArray.get(i).getAsFloat();}return vector;} catch (IOException e) {e.printStackTrace();return new float[0];}}
}

总结

通过本示例，我们展示了如何结合 Milvus 和 Ollama 完成文本向量的存储和相似度检索。Milvus 提供了强大的向量存储和检索功能，而 Ollama 则通过其 API 提供了高效的文本嵌入服务。两者的结合，使得构建文本搜索系统变得更加高效和简单。

希望这篇博客对你有所帮助，如果你有任何问题，欢迎在评论区留言！

http://www.dtcms.com/wzjs/791356.html

相关文章：

  • 极简 单页面网站模板网页编辑教程
  • 网站建设需要学什么语言做产品的往这看:国外工业设计网站大全!
  • 贾汪区住房和城乡建设局网站电视剧怎么做短视频网站
  • 学习网站开发心得莒南县建设工程网站
  • 淘宝网站怎么做的好坏网站做微信支付宝支付宝
  • 网站分辨率影视网站建设要多少钱
  • 常州制作网站软件郴州网页设计招聘
  • 网站建设代码编译的问题及解决方案武进建设局网站
  • 没有网站可以icp备案路桥网站设计
  • 推荐个2021能看的网站免费最火的自媒体平台排名
  • 中国文明网联盟网站建设网页设计找工作
  • 网站最新发布址郑州建站费用
  • 网站建设费属于哪个会计科目网上营销活动
  • 梦织做网站搜狗网站提交入口
  • 多媒体网站开发实验报告chrome下载
  • 做外贸需要用什么网站太原营销型网站
  • centos安装 wordpress环境搭建seo关键词推广话术
  • 微信网站建设和维护男科24小时免费咨询
  • 旅游网站建设和开发科技公司属于什么行业
  • 做汽车售后的网站论坛网站前置审批
  • 福甭市建设局网站锦州网站建设品牌好
  • 合肥设计网站上海天华建筑设计有限公司官网
  • 怎么做网站发布产品咸阳学校网站建设报价
  • 做网站用什么浏览器好网站建设的具体实施方案
  • 网站 数据库 模板智通人才招聘网东莞
  • 公司手机版网站模板免费下载wordpress靶机下载网站
  • 直播网站开发教程国企建筑公司有哪些
  • 生态网站模板哈尔滨关键词优化推广
  • 百度推广手机网站检测合肥电子商务网站建设
  • 牡丹江市广告公司成都百度seo搜索引擎优化培训