湖南省建设工程造价管理总站网站交互式网站备案

背景：

       通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。

系统环境
       操作系统：UOS1070e

       python版本：3.10

编译步骤

      一、安装gcc/g++/cmake

       1、下载源码：https://github.com/vllm-project/vllm

  安装环境准备

        1、gcc/g++ 安装版本要求12.0版本及以上

        2、 cmake版本要求3.26及以上

        因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装

        1、gcc/g++源码安装：【运维】UOS1070e操作系统源码编译gcc-CSDN博客

        2、cmake源码安装：【运维】源码编译安装cmake-CSDN博客    

      二、安装numctl-devel

yum install numactl-devel# 备注 
根据官方提供需要安装apt-get install libnuma-dev
对于基于 Red Hat 的系统（如 CentOS 和 Fedora），NUMA 相关的开发库通常包含在 numactl-devel 软件包中，而不是 libnuma-devel。选择安装 numactl-devel即可

三、pip下载依赖项

pip install --upgrade pip
pip install "cmake>=3.26" wheel packaging ninja "setuptools-scm>=8" numpy
# 进入vllm源码根目录
pip install -v -r requirements-cpu.txt --extra-index-url https://download.pytorch.org/whl/cpu

 四、源码开始编译vllm

VLLM_TARGET_DEVICE=cpu python setup.py install

错误排查：

1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误

解决方法：安装torchvisioncpu版本

下载路径：https://download.pytorch.org/whl/torchvision

参考链接：

1、本地vllm部署DeepSeek，但CPU：https://zhuanlan.zhihu.com/p/22968294287

2、报错，operator torchvision::nms does not exist：https://download.csdn.net/blog/column/7248164/143227045

3、vllm中文网站：安装 | vLLM 中文站