当前位置: 首页 > news >正文

vLLM专题(二):安装-CPU

vLLM 是一个 Python 库,支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明:
Intel/AMD x86
vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务,支持的数据类型包括 FP32、FP16 和 BF16。

注意
此设备没有预构建的 wheel 包或镜像,因此您必须从源代码构建 vLLM。

1. 要求

Python 版本 3.9 至 3.12"
Intel/AMD x86
操作系统: Linux
编译器: gcc/g++ >= 12.3.0(可选,推荐)
指令集架构(ISA): AVX512(可选,推荐)

提示
Intel Extension for PyTorch (IPEX) 为 PyTorch 扩展了最新的功能优化,以在 Intel 硬件上提供额外的性能提升。

2. 使用 Python 设置

2.1 创建一个

相关文章:

  • Retrofit+OkHttp+ViewModel
  • Go入门之语言变量 常量介绍
  • MongoDB 7 分片副本集升级方案详解(上)
  • CentOS 8 配置bond
  • C# 入门简介
  • Flutter 中的数据跨层传递方案
  • Qt之线程的创建与启动
  • 【JAVA工程师从0开始学AI】,第四步:闭包与高阶函数——用Python的“魔法函数“重构Java思维
  • 深入理解同步与异步I/O:从原理到实战
  • vue 判断字符串开头是http或者https
  • 2025-2-17算法打卡
  • 使用神经网络对驾驶数据进行道路类型分类
  • 《RCooper: 一个真实世界的大规模道路边协同感知数据集》学习笔记
  • C#异步/多线程编程中Task对象强大的功能介绍。
  • 三、tsp学习笔记——屏幕移植
  • UDP与TCP
  • Qt——连接MySQL数据库之ODBC的方法详细总结(各版本大同小异,看这一篇就够了)
  • Python常见面试题的详解10
  • STM32 串口转 虚拟串口---实现USB转串口功能
  • Git高级用法
  • 人民网:激发博物馆创新活力,让“过去”拥有“未来”
  • 受关税政策影响,沃尔玛将上调部分商品在美售价
  • 跨越三十年友情,61岁余隆和60岁齐默尔曼在上海再度合作
  • 四川内江警方通报一起持刀伤人致死案:因车辆停放引起,嫌犯被抓获
  • 多地举办演唱会等吸引游客刺激消费,经济日报:引导粉丝经济理性健康发展
  • 人民日报整版聚焦:外贸产品拓内销提速增量,多地加快推动内外贸一体化