当前位置：首页 > news >正文

安徽品质网站建设创新哈尔滨快速建站模板

news 2025/9/29 15:01:59

安徽品质网站建设创新,哈尔滨快速建站模板,wordpress忘记账户,长沙网站制作推广前言这里使用最简单的几条命令介绍如何部署DeepSeek-R1的服务，默认已经安装了Anaconda，使用的是vllm框架，国内也可以轻松部署。部署创建虚拟环境 conda create -n vllm python3.11 -y激活虚拟环境 conda activate vllm安装Pytorch框架…

前言

这里使用最简单的几条命令介绍如何部署DeepSeek-R1的服务，默认已经安装了Anaconda，使用的是vllm框架，国内也可以轻松部署。

部署

创建虚拟环境

conda create -n vllm python=3.11 -y

激活虚拟环境

conda activate vllm

安装Pytorch框架

pip install torch torchvision torchaudio

安装vllm和modelscope

pip install vllm
pip install modelscope

指定使用modelscope下载模型

export VLLM_USE_MODELSCOPE=True

启动服务，可以根据自己需要修改模型，DeepSeek-R1地址，tensor-parallel-size参数指定使用的显卡数量。

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --tensor-parallel-size 1 --max-model-len 32768 --enforce-eager

调用

使用Python调用：

from openai import OpenAIclient = OpenAI(base_url="http://192.168.0.12:11434/v1",api_key="key")messages = [{"role": "user", "content": "你好"}]
response = client.chat.completions.create(model="deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",messages=messages,stream=True
)for chunk in response:delta = chunk.choices[0].deltadelta_content = delta.contentif delta_content is not None:print(delta_content, end='')