当前位置: 首页 > news >正文

windows下玩转vllm:vllm简介;Windows下不能直接装vllm;会报错ModuleNotFoundError: No module named ‘vllm._C‘

文章目录

  • -1. Windows下不能直接装vllm
  • 前言
  • ollama vs vllm
      • Ollama
      • vLLM
  • vllm简介
      • 核心特点
        • PagedAttention
        • 内存优化
        • 高效推理
      • 应用场景
      • 安装与使用


-1. Windows下不能直接装vllm

在这里插入图片描述
我其实很久之前就意识到这个事儿,后来太久没搞就又忘了。

昨天忙活了半宿,得来的确实一个无法解决的报错。
在这里插入图片描述
我把错误的traceback贴出来,希望给像我一样的傻孩子提个醒。

>>> llm = LLM(model="facebook/opt-125m")
INFO 03-01 08:09:50 __init__.py:207] Automatically detected platform cuda.
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "E:\vllm\Lib\site-packages\vllm\utils.py", line 1022, in inner
    return fn(*args, **kwargs)
           ^^^^^^

相关文章:

  • Windows server网络安全
  • Next+React项目启动慢刷新慢的解决方法
  • Android 加解密算法工具类封装:AES、RSA、MD5 一站式解决方案
  • 鸿蒙系统中的持续部署
  • labview实现大小端交换移位
  • 虚拟机 CentOS 9 网络配置
  • 【Spring 事务】
  • Grafana集成Quickwit插件
  • 从零到EXE-探索用Python开发贪吃蛇单机小游戏全过程及避坑指南
  • 从0到1,带你开启PHP语言学习之旅
  • 电机控制常见面试问题(二)
  • 数据安全_笔记系列12:数据访问控制中的三个管理员权限划分
  • Apollo企业二次开发工具Application X指南(一):系统架构、cyber RT和包管理
  • 《C#上位机开发从门外到门内》2-3:SPI总线协议详解及应用实践
  • JavaScript事件循环机制
  • 如何注册海外社媒平台账号
  • ⭐算法OJ⭐经典题目分类索引(持续更新)
  • 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
  • Linux - 磁盘分区、挂载
  • X509TrustManager信任SSL证书
  • 知乎 php网站开发书籍/石家庄房价
  • 网站制作论坛/百度做网站
  • 免费咨询医生皮肤科专家/优化关键词软件
  • 幼儿园网站建设方案结语/山东济南最新消息
  • 仙桃建设网站/抖音seo是什么
  • 建设银行网站的登录验证程序安全吗/南阳本地网络推广优化公司