llm数据存储基础设施

链接:https://i68.ltd/notes/posts/20250310-llm-db/

infinity

• 专为LLM应用程序构建的AI原生数据库，可提供对密集向量、稀疏向量、张量（多向量）和全文的快速混合搜索
• 项目仓库:https://github.com/infiniflow/infinity

关键特性

• 令人难以置信的快
  • 在百万级矢量数据集上实现0.1毫秒查询延迟和15K+ QPS
  • 在33M文档的全文搜索中实现1毫秒延迟和12K+ QPS
• 强大的搜索功能
  • 除了过滤之外，还支持密集嵌入、稀疏嵌入、张量和全文的混合搜索
  • 支持多种类型的rerankers，包括RRF，加权和和ColBERT
• 丰富的数据类型
  • 支持广泛的数据类型，包括字符串、数字、向量等
• 易用性
  • 直观的Python API
  • 无依赖的单二进制架构，使部署变得轻而易举
  • 作为模块嵌入到Python中，对人工智能开发人员友好

MyScaleDb

• 支持高性能矢量搜索和全文搜索的ClickHouse分支
• https://github.com/myscale/MyScaleDB
• MyScaleDB是SQL向量数据库，使开发人员能够使用熟悉的SQL构建生产就绪和可扩展的AI应用程序。它构建在ClickHouse之上，并针对AI应用程序和解决方案进行了优化，使开发人员能够有效地管理和处理大量数据

• 完全兼容SQL
• 统一的结构化和矢量化数据管理
• 十亿级向量的毫秒级搜索
• 高度可靠和线性可扩展
• 强大的文本搜索和文本/矢量混合搜索功能
• 复杂SQL向量查询
• MyScale可观测性