当前位置: 首页 > news >正文

[云上玩转Qwen3系列之四]PAI-LangStudio x AI搜索开放平台 x ElasticSearch: 构建AI Search RAG全栈应用

本文详细介绍了如何使用 PAI-LangStudio 和 Qwen3 构建基于AI搜索开放平台 x ElasticSearch 的 AI Search RAG 智能检索应用。该应用通过使用 AI 搜索开放平台、ElasticSearch 全文检索+向量检索引擎的混合检索技术配合阿里云最新发布的 Qwen3 推理模型编排在一个 Agentic Workflow 中,为客户提供了业内领先的 AI Search RAG 检索应用能力,使用 NLP 自然语言即可实现 AI Search 的精准查询可靠效果。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。

实践背景

本文是基于 PAI-LangStudio x AI 搜索开放平台 x ElasticSearch 来构建业内领先且功能强大的一站式 AI Search 智能混合检索 RAG 智能应用方案。下面介绍如何完成场景实操:

前提条件

  • 已创建专有网络 VPC、交换机和安全组。具体操作请参见搭建IPv4专有网络和创建安全组。
  • 登录 PAI 控制台,在左侧导航栏单击工作空间列表(如无 已有工作空间列表)。在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。如您尚未创建工作空间,请创建工作空间。
  • 登录AI搜索开放平台,获取 Endoint 和 API-Key。
  • 登录 Elasticsearch控制台,创建 Elasticsearch 实例,并进行安全访问配置(如可打开“使用HTTPS协议”选项以增强安全性)。

场景部署步骤

步骤一:在PAI-LangStudio中添加模型服务连接:

1. 通过 PAI控制台 > 进入PAI-LangStudio > 连接 > 模型服务 > 新建连接

2. 选择 “AI搜索开放平台 Embedding 模型服务”,并填入从AI搜索开放平台获取到的 Endpoint 和api_key,创建模型服务连接:

3. 创建好后,可以在列表页看到刚刚创建的AI搜索开放平台Embedding模型服务连接:

步骤二:在PAI-LangStudio中新建数据库连接

  1. 在PAI-LangStudio中,选择“连接” -> “数据库” 标签页后,点击“新建连接”:

2. 填入在Elasticsearch控制台中查看到的Elasticsearch实例的地址和用户名、密码(注意如果Elasticsearch未开启HTTPS连接,此处url需要填写 http:// 头)后,点击确定:

此时在连接列表中可以看到刚刚添加的数据库连接:

步骤三:新建PAI-LangStudio运行时相关信息

1. "运行时"设置确认。在PAI-LangStudio中选择“运行时”标签页,点击“新建运行时”,填入必要的信息如:运行时工作路径(选择OSSbucket中一个目录)、专有网络、安全组与交换机信息(需要跟Elasticsearch所在网络畅通)后点击“确定”:

2. 之后可以在运行时列表中看到该运行时。

步骤四:在PAI-LangStudio中创建知识库

1. 在PAI-LangStudio中,选择“知识库”标签页,并点击“新建知识库”,选择文档所在OSS路径作为“数据源OSS路径”,并选择一个“输出OSS路径”用来保存文档解析处理中间结果和索引相关信息:

2. 选择 “AI搜索开放平台 Embedding 模型服务”标签,并选择步骤一中创建的模型服务连接后,可以选择具体支持的Embedding模型(其中 001模型 和 002模型维度不同,可用于不同场景选择);选择步骤二中创建的向量数据库连接,并填入一个向量数据库索引名,选择步骤5中创建的运行时后,点击确定:

3. 之后可以在知识库列表中看到刚刚创建的知识库。点击知识库名称后,可以查看知识库概览、文档查看,以及进行召回测试:

4. 在“文档”标签页,可以通过拖拽方式将本地文件上传至OSS中:

5. 在文档上传后,点击“更新索引”按钮,在弹出的浮窗中选择网络和安全组资源配置后,点击“确定”,即可开始进行知识库索引的更新:

此时可以看到有一个索引创建的任务在运行中(也可以通过知识库->操作记录查看任务):

等待几分钟后,索引构建完毕。此时刷新文档标签页,可以看到文档从“未索引”状态 变为“已索引”。点击列表中的文档名称,可以看到该文档的分块情况,以及每个文档块的使能与否。通过点击文档分块中的✅ 标记,也可以对该文档块进行enable/disable操作。当文档分块被disable后,进行召回时将忽略该文档块:

6. 在PAI-LangStudio的新版知识库中,选择“召回测试”标签,输入问题,设置检索条件(建议score阈值在0.5-0.6之间)后,点击“测试”,可以在右侧看到召回结果:

步骤五:在应用流中使用RAG知识库

1. 在PAI-LangStudio的“应用流”标签点击“新建应用流”,选择“从模板新建” -> “RAG”模板,创建应用流:

之后自动跳转至应用流界面:

2. 点击“知识库检索”节点,配置检索参数(选择知识库索引,设置filter):

2. 点击“大模型”节点,配置“模型设置”(选择模型、配置参数、开启/关闭思考):

3. 点击“运行”按钮,输入检索问题后,可以工作流中的运行框获取检索信息:

由于ElasticSearch的混合检索能力,检索准确率大大提升。

步骤六:通过 PAI-LangStudio部署EAS模型服务,支持API调用知识库能力

应用流开发调试完成后,单击右上角的部署,根据需要选择合适的机型以及专有网络,注意EAS实例需要使用与应用流中其他服务实例相同的VPC,以保证安全和网络连通。点击确定 > 跳转到PAI-EAS模型服务 查看部署任务。

场景方案价值 - ES + RAG Agent应用

在PAI- LangStudio 中, 使用AI搜索开放平台提供原子化Embeding/Rerank模型能力和Elasticsearch向量数据库,高效地处理大规模数据,结合大模型LLM分析能力,以快速构建一站式AI Search RAG增强搜索/混合检索的全栈应用能力。将AI智能信息检索与智能问答效率与准确率大大提升。

通过以上步骤,您可快速使用PAI-LangStudio构建基于 AI搜索开放平台 和Elasticsearch引擎优势实现AI Search RAG应用,满足专业知识库场景AI Search需求。

更多介绍

Qwen3

作为Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。基于广泛的训练,Qwen3 在推理、指令跟随、代理能力和多语言支持方面取得了突破性的进展,具有以下关键特性:

  • 独特支持在思考模式(用于复杂逻辑推理、数学和编码)和 非思考模式(用于高效通用对话)之间无缝切换,确保在各种场景下的最佳性能。
  • 显著增强的推理能力,在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ (在思考模式下)和 Qwen2.5 指令模型(在非思考模式下)。
  • 擅长 Agent 能力,可以在思考和非思考模式下精确集成外部工具,在复杂的基于代理的任务中在开源模型中表现领先。可与PAI-LangStudio 大模型开发平台无缝集成:结合MCP Server服务,增强智能数据分析能力
  • 支持 100 多种语言和方言,具有强大的多语言理解、推理、指令跟随和生成能力。

PAI-LangStudio - 大模型Agent应用开发平台

大模型&Agent应用开发平台(PAI-LangStudio)是依托阿里云PAI产品核心能力构建的面向企业级用户的一站式大模型应用开发平台。简化了企业级大模型应用的开发流程,同时提供了灵活的可编程能力、实时调试能力与链路追踪的能力,帮助开发者快速构建端到端的AI应用。原生兼容支持通义系列Qwen系列大模型。PAI-LangStudio专注于提供LLM全链路开发部署能力,可支持发布有状态、多Agent的复杂工作流发布部署成PAI-EAS模型服务,并在生产环境提供API应用服务。

参考:大模型应用开发LangStudio_人工智能平台 PAI(PAI)-阿里云帮助中心

AI搜索开放平台

AI搜索开放平台围绕智能搜索及RAG场景,将AI搜索链路中用到的算法服务以组件化形式提供,内置文档解析、文档切片、文本向量化、查询分析、召回、排序、效果评估以及LLM模型服务,开发者根据自身情况灵活选择组件服务进行搜索业务开发。

AI搜索开放平台-联网搜索

AI搜索开放平台提供联网搜索功能,支持直接调用联网搜索API或调用内容生成服务时启用联网搜索。

ElasticSearch混合检索

阿里云检索服务Elasticsearch版(简称ES)结合了AI搜索开放平台的组件化模型能力,提供全文检索+向量检索引擎的混合检索技术, 可用于构建高效、精准的复杂语义搜索系统。通过搭建AI语义搜索的方法,带用户体验AI技术如何提升搜索的准确性和用户体验。

RAG 检索增强 简介

随着AI技术的飞速发展,生成式人工智能在文本生成、图像生成等领域展现出了令人瞩目的成就。然而,在广泛应用大语言模型(LLM)的过程中,以下固有局限性问题逐渐显现:

  • 领域知识局限:大语言模型通常基于大规模通用数据集训练而成,难以针对专业垂直领域提供深入和针对性处理。
  • 信息更新滞后:由于模型训练所依赖的数据集具有静态特性,大模型无法实时获取和学习最新的信息与知识进展。
  • 模型误导性输出:受制于数据偏差、模型内在缺陷等因素,大语言模型可能会出现看似合理实则错误的输出,即所谓的“大模型幻觉”。

为克服这些挑战,并进一步强化大模型的功能性和准确性,检索增强生成技术RAG(Retrieval-Augmented Generation)应运而生。这一技术通过整合外部知识库,能够显著减少大模型虚构的问题,并提升其获取及应用最新知识的能力,从而实现更个性化和精准化的LLM定制。

相关链接

  • LangStudio产品文档
  • AI搜索开放平台
  • 检索分析服务Elasticsearch版
  • 阿里云Elasticsearch AI场景语义搜索
  • 基于阿里云Elasticsearch使用RAG搭建知识库在线问答
http://www.dtcms.com/a/265313.html

相关文章:

  • JSON 安装使用教程
  • 新版本没有docker-desktop-data分发 | docker desktop 镜像迁移
  • 用Python实现两种爱心效果❤️
  • 人机协同的智能体开发范式(ADS)
  • HCIA-实现VLAN间通信
  • nrf52840蓝牙学习(定时器的应用)
  • Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
  • 从暴力穷举到智能导航,PC本地搜索被腾讯电脑管家“拯救”
  • 【Vue入门学习笔记】Vue核心语法
  • 百度文心 ERNIE 4.5 开源:开启中国多模态大模型开源新时代
  • MYSQL基础内容
  • 读VJEPA 2
  • Linux Mem -- Slub内存分配器基础
  • 08_Excel 导入 - 用户信息批量导入
  • [ linux-系统 ] 软硬链接与动静态库
  • 基于Java+SpringBoot的图书管理系统
  • 【字节跳动】数据挖掘面试题0002:从转发数据中求原视频用户以及转发的最长深度和二叉排序树指定值
  • Scala 安装使用教程
  • windows系统下将Docker Desktop安装到除了C盘的其它盘中
  • 前端可视化——Canvas实战篇
  • Docker Compose 基础——AI教你学Docker
  • 《寻北技术的全面剖析与应用前景研究报告》
  • 【4】 Deployment深入简出实战演练
  • 无代码自动化测试工具介绍
  • Java中创建线程方法以及线程池参数配置
  • (LeetCode ) 13. 罗马数字转整数 (哈希表)
  • 跨越十年的C++演进:C++20新特性全解析
  • 软件反调试(3)- 基于父进程的检测
  • Python 高光谱分析工具(PyHAT)
  • 【数字后端】- 什么是AOI、OAI cell?它们后面数字的含义