当前位置: 首页 > news >正文

Milvus 全面解析

Milvus是鹰科鹰属的一种猛禽,以飞行速度快、视力敏锐和适应能力强而闻名。

Zilliz 以其开源高性能、高可扩展性矢量数据库 Milvus 命名,该数据库可在从笔记本电脑到大型分布式系统等各种环境中高效运行。它既可以作为开源软件使用,也可以作为云服务使用。

Milvus 由 Zilliz 开发,并很快捐赠给 Linux 基金会旗下的 LF AI & Data 基金会,如今已成为全球领先的开源向量数据库项目之一。它基于 Apache 2.0 许可证发布,大多数贡献者均为高性能计算 (HPC) 社区的专家,擅长构建大规模系统并优化硬件感知代码。核心贡献者包括来自 Zilliz、ARM、NVIDIA、AMD、英特尔、Meta、IBM、Salesforce、阿里巴巴和微软的专业人士。

有趣的是,每个 Zilliz 开源项目都以一种鸟的名字命名,这种命名惯例象征着自由、远见和技术的敏捷演变。

非结构化数据、嵌入和 Milvus

非结构化数据(例如文本、图像和音频)格式多样,并带有丰富的底层语义,因此分析起来颇具挑战性。为了应对这种复杂性,嵌入技术可用于将非结构化数据转换为能够捕捉其基本特征的数值向量。这些向量随后存储在向量数据库中,从而实现快速且可扩展的搜索和分析。

Milvus 提供强大的数据建模功能,让您能够将非结构化或多模态数据组织成结构化集合。它支持多种数据类型,用于不同的属性建模,包括常见的数值和字符类型、各种向量类型、数组、集合和 JSON,让您免于维护多个数据库系统。

Untructured data, embeddings, and Milvus

非结构化数据、嵌入和 Milvus

Milvus 提供三种部署模式,涵盖广泛的数据规模——从 Jupyter Notebooks 中的本地原型设计到管理数百亿向量的大规模 Kubernetes 集群:

  • Milvus Lite 是一个 Python 库,可以轻松集成到您的应用程序中。作为 Milvus 的轻量级版本,它非常适合在 Jupyter Notebook 中快速构建原型,或在资源有限的边缘设备上运行。了解更多。
  • Milvus Standalone 采用单机服务器部署,所有组件捆绑到单个 Docker 镜像中,方便部署。了解更多。
  • Milvus Distributed 可部署在 Kubernetes 集群上,其云原生架构专为亿级甚至更大规模场景而设计。该架构确保关键组件的冗余。了解更多。

Milvus 为何如此之快?

Milvus 从设计之初就致力于打造一个高效的矢量数据库系统。在大多数情况下,Milvus 的性能比其他矢量数据库高出 2 到 5 倍(参见 VectorDBBench 测试结果)。如此高性能源于以下几个关键的设计决策:

硬件感知优化:为了使 Milvus 能够在各种硬件环境中运行,我们针对多种硬件架构和平台专门优化了其性能,包括 AVX512、SIMD、GPU 和 NVMe SSD。

相关文章:

  • python 练习 五
  • 深入理解Java HotSpot中的即时编译
  • PADS入门笔记【一】
  • 【Python】对象生命周期全解析
  • Vue 3 打开 el-dialog 时使 el-input 获取焦点
  • 使用大语言模型从零构建知识图谱(上)
  • Linux 内核 IPv4 协议栈中的协议注册机制解析
  • QT---信号与槽
  • Qt操作SQLite数据库教程
  • AI Agent开发第66课-彻底消除RAG知识库幻觉-带推理的RAG
  • 3D Gaussian Splatting 查看工具 splatviz
  • 建筑物渗水漏水痕迹发霉潮湿分割数据集labelme格式1357张1类别
  • vue和springboot交互数据,使用axios【跨域问题】
  • 论系统安全架构设计及其应用~系统架构师论文
  • Ros2 - Moveit2 - DeepGrasp(深度抓握)
  • Open3D 体素化下采样
  • Python面向对象编程精解:从两大编程范式到类与对象实战
  • 前后端分离博客 Weblog 项目实战
  • 启动窗体自动输入上次内容——CAD c#二次开发
  • 50. Pow(x, n)
  • 习近平同巴西总统卢拉共同会见记者
  • 专访|导演刘江:给谍战题材注入现实主义的魂
  • 李公明谈“全球南方”与美术馆
  • 真人秀《幸存者》百万美元奖金,25年间“缩水”近一半
  • 摩根士丹利:对冲基金已加码,八成投资者有意近期增配中国
  • 刘国中:持续加强护士队伍建设,更好保障人民身体健康