做网站 广州大型门户网站建设企业

环境：

Ubuntu20.04

Qwen3-30B-A3B-AWQ

Qwen3-32B-Int4-W4A16

Qwen3-32B-FP8

Qwen3-235B-A22B-AWQ

H20 95Gx2

vllm 0.8.5

问题描述：

如何本地部署Qwen3系列的大小模型235B/32B并进行推理服务及并发测试？

解决方案：

1.按需新建模型相关文件夹

mkdir Qwen3
chmod 777 /mnt/program/Qwen3

2.配置conda源

nano ~/.condarc

nano /root/miniconda/.condarc

channels:- http