ubuntu部署运行xinference全精度对话deepseek本地部署图文教程

前置环境搭建劳请移步往期
source activate 自己环境名启动python3.12环境安装xinference，
按教程敲命令，wheel包与wsl的通用，pip install 包名。
vllm引擎，transform引擎也会顺带自动装上了。
后续操作请参照往期教程。本地部署模型路径选到safetensors文件夹，运行全精度模型，官网给的目录结构全部下载，必要文件不能少，gguf只下一个模型文件就行了。
这次加载很快，linux的优越性这就体现出来了。不用帮它加速，给我点个赞呢谢谢。

翻车了，忘了装中文输入法了。可以看到think过程没有问题，至此，windows环境，wsl环境，docker环境，linux环境下，本地部署deepseek全部实现，撒花撒花。