Elasticsearch：隔离环境中的高级向量搜索
作者：来自 Elastic Josh Phifer
对于没有外部网络连接的隔离环境中的组织来说，实施最新的搜索和 AI 技术可能极具挑战，甚至几乎不可能。然而，Elastic 的客户 —— 包括国家安全和国防等高敏感行业 —— 十多年来一直依赖 Elastic 的敏捷技术，在隔离环境甚至技术套件上执行关键任务。让我们以多模态向量搜索为例，仔细看看这类用例是如何实现的。
随着 AI 越来越深入地嵌入组织的日常运营，从海量结构化和非结构化数据中提取相关且有上下文的信息变得前所未有地重要。如果无法对所有数据类型进行整体查询和分析，生成式和智能体 AI 的有效使用将受到限制。公共部门常见的数据挑战包括：
- 缺乏开发人员：虽然生成式 AI（GenAI）工具可能易于获取，但组织可能缺乏有效实施这些工具所需的技术专长。
- 数据量庞大：公共部门组织面临前所未有的数据量，其中许多数据受严格法规或机密等级的限制。
- 数据未准备好供 AI 使用：关键信息常存储在 PDF、图表和视频等格式中，难以提取出相关洞察。
RAG：一种高效的 AI 数据检索模型
许多公共部门组织发现，很难训练甚至微调大型语言模型（LLM）来处理员工和利益相关者的各种查询。他们希望即使数据复杂或分散，也能直接利用专有数据与 AI 配合使用。
检索增强生成（RAG） 是一种可扩展的解决方案，能够应对时间和资源有限、以及需要处理海量结构化与非结构化数据的更大挑战。在 Elastic 的 RAG 模型中，用户的问题在提交给 LLM 之前，会先查询我们的向量数据库，通过向量搜索从组织的专有数据中提取相关上下文。这个步骤（即上下文层）显著缩小了 LLM 输出所依赖的数据范围。智能体 AI 进一步发展了这一模型——查询可与 AI 智能体交互，执行多个子查询，并在用户与 LLM 之间充当中介。
多阶段检索与多模态搜索：应对复杂数据类型
与此同时，多模态搜索用例正在迅速扩展，组织正在寻找更直观、更强大的方式来跨多种数据类型检索信息。通过结合文本、图像、音频和视频输入，多模态搜索让用户能够以更自然、更有意义的方式与系统交互。公共部门在这方面有多个典型用例，因为大量知识往往存储在极长且密集的 PDF 和视频记录中。能够同时在这些内容中进行搜索，是一项极有价值的能力，可显著提升团队寻找答案的速度与准确性。
Elastic 还使用 混合搜索，将关键词搜索元素与向量搜索相结合，作为多阶段检索的基础。这使系统能够重新评分、重新排序，甚至应用个性化，从而找到用户所需的确切视频或 PDF 来回答问题。这种方法认识到，获得近似结果与获取高度精确结果所需的技术不同，从而使 Elastic 能够提供高度定制的数据集。
这是什么样子？
要了解更多关于在隔离环境中启用高级向量与多模态搜索的示例和信息，请观看我们的网络研讨会或下载白皮书。
本文中描述的任何功能或特性发布及时间仍由 Elastic 全权决定。任何当前不可用的功能或特性可能无法按时提供，甚至可能无法提供。
在本文中，我们可能使用或引用了第三方生成式 AI 工具，这些工具由各自所有者拥有和运营。Elastic 无法控制这些第三方工具，也不对其内容、操作或使用承担任何责任或义务，也不对你使用这些工具可能产生的任何损失或损害负责。使用 AI 工具处理个人、敏感或机密信息时请谨慎。你提交的任何数据可能用于 AI 训练或其他目的。无法保证你提供的信息将被安全或保密地保存。你在使用任何生成式 AI 工具前，应熟悉其隐私政策和使用条款。
Elastic、Elasticsearch 及相关标识是 Elasticsearch B.V. 在美国及其他国家的商标、标识或注册商标。所有其他公司和产品名称均为其各自所有者的商标、标识或注册商标。
原文：https://www.elastic.co/blog/advanced-vector-search-in-air-gapped-environments