阿里云 Hologres 登顶 VectorDBBench 性价比榜单四项第一

AI时代，多模态数据成为大模型的基础设施。无论是自然语言处理中的词嵌入、计算机视觉中的特征提取，还是推荐系统中的用户建模，向量化的表达方式为多模态数据与AI应用之间架起桥梁，赋能AI应用实现规模化、实时化、智能化。随着AI应用的深入渗透，向量数据量正以指数级增长，从百万级、十亿级向量迅速迈向百亿、千亿甚至万亿级别，向量检索技术也面临着前所未有的严峻挑战。

Hologres发布全新向量索引HGraph，登顶 VectorDBBench 性价比榜单QPS、Recall、Latency、Load 四项第一，为AI应用的提供高性价比、高吞吐、低延迟、高并发的向量服务，成为全球最具性价比的向量数据库！

相关成绩详见：https://github.com/zilliztech/VectorDBBench/pull/601

VectorDBBench为主流向量数据库和云服务提供基准测试，测试每月1,000 美元成本下各类型向量数据在向量搜索延迟、QPS、召回、写入等性能结果，方便用户在众多云服务和开源向量数据库中进行性能和成本效益比较，寻找最佳选择。此成绩基于 Hologres 4.0 版本 (华北1（北京）可用区L) 在VectorDBBench 测试工具中得出，相关PR已提交社区，可按照官方操作文档复现结果：https://help.aliyun.com/zh/hologres/user-guide/vector-computing-performance-test-scheme。

Hologres 4.0 发布全新向量索引 HGraph

Hologres在最新的4.0版本中引入全新的HGraph层次图向量索引，实现性能的大幅提升，其主要核心优化点如下：

混合索引（内存 + 分布式文件系统）上的改进：

• 混合索引：低精度索引使用内存存储，高精度索引落盘使用分布式文件系统（盘古）存储，从而保持高召回率的同时，大幅降低内存使用，相比全内存索引：内存占用减少80%，性能损失小于5%。

• 引入一种新的图-聚类混合索引：PAG（PointAggregationGraph），为分布式存储架构优化；

• 将 Graph 中距离接近的点压缩成一个节点，以降低存储成本，减少 IO 次数。

精细IO优化：

• 存算分离：实现 FileStreamBuf 以标准库的方式读写盘古分布式文件系统，实现序列化反序列化索引文件直读直写盘古分布式文件系统。让向量检索不依赖本地磁盘，容量更大，资源更易弹性。

• 以异步并行IO加缓存的方式读取分布式文件系统索引，有效降低查询延迟

• 通过readahead、减少内存拷贝等手段，进一步提升性能

BSA 剪枝框架-基于近似距离和线性分类器的距离计算加速：

• 引入近似距离计算机制

• 第一阶段使用压缩向量和近似距离搜索

• 第二阶段使用原始向量和精确向量进行二次重排

• 向量查找速度有 1.4x ~ 2.2x 提升

图结构压缩：

• 在使用高倍率量化向量后（例如 RabitQ），图结构可能占到向量索引的 70% 以上

• 通过使用 elias-fano-encoding 方法对邻居 ID 进行编码，可以大幅减少临接表占用内存空间，可达原始临接表的 1/3 左右

• 相较于原始算法，引入图结构压缩算法后，索引大小能降低约 50%

更高召回率突破（EnhanceGraph）：

• 引入创新性的共轭图（conjugategraph）

• 不断优化近邻图的连通性

数据排布和预取：

• 近邻图检索过程有大量的随机内存访问，内存排布和数据预取优化对于近邻图在性能和延迟上都有更好表现

• 收益：内存排布+25%，数据预取+20%

其它相关优化：

• 8-bit量化：大幅降低向量距离计算量；+50%

• 指令重排：将预取指令和计算指令混合排布提高预取有效率；+20%

• 量化重排：使用4-bit量化进行搜索，再用高精度向量重排；+25%

• CPI优化：减少无效的预取指令，避免指令堆积；+10%

• re-rank剪枝：根据距离过滤无效re-rank过程；+5%

• 指令依赖优化：减少访存指令之间的依赖，提高指令吞吐；+2.5%

• 内存排布优化：在图结构上冗余存储部分向量，提升数据locality；+25%

• Core Bound优化：进一步减少无效的访存指令，降低同时间指令发射数；+10%

Hologres 全新向量索引HGraph核心优势

• 海量数据下极致性能：

  • 通过混合索引（内存+分布式文件系统 ）和 rabitq 量化算法，以及叠加分布式技术，轻松支持百万至千亿不同场景的向量检索能力，登顶 VectorDBBench 性价比榜单四项第一。

• 数据实时性与一致性：

  • 基于Hologres强大的实时数仓写入能力，向量数据实现实时写入，写入及可见，满足风控、监控、推荐等对时效性要求严苛的场景，避免“搜到却查不到”的尴尬。

• 丰富的向量检索能力：

  • 支持L2、Inner Product、Cosine等向量相似度算法

  • 支持丰富的量化算法：sq8_uniform、rabitq(内存是sq8_uniform的30%~50%左右)、fp32、fp16、sq4_uniform、pq、pqfs、bf16等

  • 混合搜索支持：除标准的 TopK搜索以及 Range 搜索(进行中)外，还支持基于 Bitmap 的前置过滤和基于 Callback 的后置过滤两种混合搜索方法

• 一站式多模AI数据分析：

  • 同时支持 向量 + 全文 + 标量 的多模混合查询，通过SQL一站式完成多模融合查询。

Hologres 4.0一站式AI数据分析平台

Hologres已经在传统的结构化数据分析领域登顶TPC-H性能测试世界第一，此次Hologres4.0更新HGraph全新向量索引刷新VectorDBBench榜单四项第一，让Hologres实现了向量 + 全文 + 标量的一站式多模混合查询，满足AI时代对多模态数据检索分析的需求。通过与内置的AI Function结合一键部署大模型，轻松构建面向AI时代的一站式、多模态、高性能分析平台。更多信息可查看阿里云Hologres官网了解详情。