vllm-openai多服务器集群部署AI模型

服务器配置是两台ubantu系统电脑，每台电脑安装两张4090-48G显存的显卡，共计192G显存。

服务器1

服务器2

准备工作：
1.两台电脑都已经安装了docker
2.两台电脑都已经安装了nvidia驱动

参考vllm官方资料
https://docs.vllm.ai/en/latest/serving/distributed_serving.html#

1.先下载.sh文件
https://github.com/vllm-project/vllm/blob/main/examples/online_serving/run_cluster.sh

做主从关联