免费注册域名网站知乎南京时事重大新闻

vllm部署qwen3-4b

一、环境

系统环境及GPU：ubuntu24.04+GPU 型号是 NVIDIA GeForce RTX 3090+cuda12.8

1.1 虚拟环境创建

conda create -n vllm python=3.10

激活虚拟环境并下载vllm

conda activate vllm
pip install vllm

二、下载

2.1 下载模型到本地路径models/Qwen3-4B

#huggingface网站的国内镜像网址
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'from huggingface_hub import snapshot_download
snapshot_download(repo_id="Qwen/Qwen3-4B",cache_dir="./cache", local_dir="models/Qwen3-4B")
print("======download successful=====")