谷歌英文网站优化wordpress安装位置
【GPT入门】第40课 vllm与ollama特性对比，与模型部署
- 1.两种部署
- 1.1 vllm与ollama特性对比
- 2. vllm部署
- 2.1 服务器准备
- 2.1 下载模型
- 2.2 提供模型服务
1.两种部署
1.1 vllm与ollama特性对比
2. vllm部署
2.1 服务器准备
在autodl 等大模型服务器提供商，采购一个
2.1 下载模型
pip install modelscope
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local_dir /ai/data/DeepSeek-R1-Distill-Qwen-1.5B
2.2 提供模型服务
root@autodl-container-9f7a4caa9b-14e615df:~# python -m venv vllm
root@autodl-container-9f7a4caa9b-14e615df:~# source vllm/bin/activate
(vllm) root@autodl-container-9f7a4caa9b-14e615df:~# pip install vllmvllm serve /ai/data/DeepSeek-R1-Distill-Qwen-1.5B
