ps专门做兼职的网站有哪些车辆租赁的网站建设

1.两种部署

1.1 vllm与ollama特性对比

2. vllm部署

2.1 服务器准备

在autodl 等大模型服务器提供商，采购一个

2.1 下载模型

pip install modelscope
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local_dir /ai/data/DeepSeek-R1-Distill-Qwen-1.5B

2.2 提供模型服务

root@autodl-container-9f7a4caa9b-14e615df:~# python -m venv vllm
root@autodl-container-9f7a4caa9b-14e615df:~# source vllm/bin/activate
(vllm) root@autodl-container-9f7a4caa9b-14e615df:~# pip install vllmvllm serve  /ai/data/DeepSeek-R1-Distill-Qwen-1.5B