当前位置：首页 > news >正文

Milvus部署在T4 GPU上,Dify检索性能可以提升多少？

news 2025/10/14 10:37:52

通常情况下，Dify检索知识库在秒级别，通常需要1-2秒，而部署在T4 GPU上则可以达到毫秒级别，通常在几十毫秒。

部署配置说明一下，这很关键，直接关系到是否可以正常访问milvus。

在.env环境变量中，使用默认的配置，一直连接失败，如：MILVUS_URI=http://host.docker.internal:19530

应该修改为宿主服务的IP，比如：MILVUS_URI=http://172.18.0.8:19530

另外，默认的验证false始终无效，还是要验证MILVUS_USER和MILVUS_PASSWORD，我们设置为默认的值，如：root和Milvus。

docker-compose.yaml配置中，使用的是milvusdb/milvus:v2.5.0-beta-gpu。

milvus-standalone:container_name: milvus-standaloneimage: milvusdb/milvus:v2.5.0-beta-gpuprofiles:- milvuscommand: [ 'milvus', 'run', 'standalone' ]environment:ETCD_ENDPOINTS: ${ETCD_ENDPOINTS:-etcd:2379}MINIO_ADDRESS: ${MINIO_ADDRESS:-minio:9000}gpu.enalbe: "true"gpu.device_ids: "0"gpu.bulid_index_resouces: "16GB"gpu.search_resources: "16GB"NVIDIA_VISIBLE_DEVICES: 0volumes:- ./volumes/milvus/milvus:/var/lib/milvushealthcheck:test: [ 'CMD', 'curl', '-f', 'http://localhost:9091/healthz' ]interval: 30sstart_period: 90stimeout: 20sretries: 3depends_on:- etcd- minioports:- 19530:19530- 9091:9091runtime: nvidianetworks:- milvus

使用DeepSeek-R1.pdf作为知识库文件进行验证。