当前位置: 首页 > news >正文

windows下玩转vllm:vllm简介;Windows下不能直接装vllm;会报错ModuleNotFoundError: No module named ‘vllm._C‘

文章目录

  • -1. Windows下不能直接装vllm
  • 前言
  • ollama vs vllm
      • Ollama
      • vLLM
  • vllm简介
      • 核心特点
        • PagedAttention
        • 内存优化
        • 高效推理
      • 应用场景
      • 安装与使用


-1. Windows下不能直接装vllm

在这里插入图片描述
我其实很久之前就意识到这个事儿,后来太久没搞就又忘了。

昨天忙活了半宿,得来的确实一个无法解决的报错。
在这里插入图片描述
我把错误的traceback贴出来,希望给像我一样的傻孩子提个醒。

>>> llm = LLM(model="facebook/opt-125m")
INFO 03-01 08:09:50 __init__.py:207] Automatically detected platform cuda.
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "E:\vllm\Lib\site-packages\vllm\utils.py", line 1022, in inner
    return fn(*args, **kwargs)
           ^^^^^^
http://www.dtcms.com/a/63568.html

相关文章:

  • Windows server网络安全
  • Next+React项目启动慢刷新慢的解决方法
  • Android 加解密算法工具类封装:AES、RSA、MD5 一站式解决方案
  • 鸿蒙系统中的持续部署
  • labview实现大小端交换移位
  • 虚拟机 CentOS 9 网络配置
  • 【Spring 事务】
  • Grafana集成Quickwit插件
  • 从零到EXE-探索用Python开发贪吃蛇单机小游戏全过程及避坑指南
  • 从0到1,带你开启PHP语言学习之旅
  • 电机控制常见面试问题(二)
  • 数据安全_笔记系列12:数据访问控制中的三个管理员权限划分
  • Apollo企业二次开发工具Application X指南(一):系统架构、cyber RT和包管理
  • 《C#上位机开发从门外到门内》2-3:SPI总线协议详解及应用实践
  • JavaScript事件循环机制
  • 如何注册海外社媒平台账号
  • ⭐算法OJ⭐经典题目分类索引(持续更新)
  • 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
  • Linux - 磁盘分区、挂载
  • X509TrustManager信任SSL证书
  • Redis 持久化详解:RDB 与 AOF 的机制、配置与最佳实践
  • 【简答题002】Java变量简答题
  • Python----计算机视觉处理(Opencv:自适应二值化,取均值,加权求和(高斯定理))
  • 分布式事务管理:使用Seata简化微服务事务处理
  • 文章被检测出是AI写的怎么办?
  • AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践
  • ai agent开发实例 OpenManus Dify Owl
  • Android 蓝牙工具类封装:支持经典蓝牙与 BLE,兼容高版本权限
  • Photoshop 中如何快速抠图?
  • NLP常见任务专题介绍(2)-多项选择任务(MultipleChoice)训练与推理模板