当前位置: 首页 > news >正文

vLLM专题(二):安装-CPU

vLLM 是一个 Python 库,支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明:
Intel/AMD x86
vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务,支持的数据类型包括 FP32、FP16 和 BF16。

注意
此设备没有预构建的 wheel 包或镜像,因此您必须从源代码构建 vLLM。

1. 要求

Python 版本 3.9 至 3.12"
Intel/AMD x86
操作系统: Linux
编译器: gcc/g++ >= 12.3.0(可选,推荐)
指令集架构(ISA): AVX512(可选,推荐)

提示
Intel Extension for PyTorch (IPEX) 为 PyTorch 扩展了最新的功能优化,以在 Intel 硬件上提供额外的性能提升。

2. 使用 Python 设置

2.1 创建一个

http://www.dtcms.com/a/23550.html

相关文章:

  • Retrofit+OkHttp+ViewModel
  • Go入门之语言变量 常量介绍
  • MongoDB 7 分片副本集升级方案详解(上)
  • CentOS 8 配置bond
  • C# 入门简介
  • Flutter 中的数据跨层传递方案
  • Qt之线程的创建与启动
  • 【JAVA工程师从0开始学AI】,第四步:闭包与高阶函数——用Python的“魔法函数“重构Java思维
  • 深入理解同步与异步I/O:从原理到实战
  • vue 判断字符串开头是http或者https
  • 2025-2-17算法打卡
  • 使用神经网络对驾驶数据进行道路类型分类
  • 《RCooper: 一个真实世界的大规模道路边协同感知数据集》学习笔记
  • C#异步/多线程编程中Task对象强大的功能介绍。
  • 三、tsp学习笔记——屏幕移植
  • UDP与TCP
  • Qt——连接MySQL数据库之ODBC的方法详细总结(各版本大同小异,看这一篇就够了)
  • Python常见面试题的详解10
  • STM32 串口转 虚拟串口---实现USB转串口功能
  • Git高级用法
  • MySQL-事务隔离级别
  • FTP自动上传/vue打包自动上传
  • Redis(高阶篇)02章——BigKey
  • 【私人笔记】Web前端
  • 计算机网络(涵盖OSI,TCP/IP,交换机,路由器,局域网)
  • python旅游推荐系统+爬虫+可视化(协同过滤算法)
  • ES7 (ES2016) 新特性
  • try learning-git-branching
  • 机器学习_14 随机森林知识点总结
  • 【Python 打造高效文件分类工具】