类似于wordpress的网站网站建设需要花多少钱

前置工作

本地部署大模型的基本概念和前置工作-CSDN博客

模型部署

这里通过docker容器进行部署。我这里是h20*8，部署deepseek-v3-0324，这个配置和模型都比较大，大家根据自己的硬件对应调整

步骤一

我们要通过sglang部署模型，先拉取sglang的docker镜像，这里下载失败的话就考虑调整docker的镜像源：

 docker pull lmsysorg/sglang:latest

步骤二

通过modelscape下载模型到本地

modelscape模型介绍