windows下玩转vllm:vllm简介;Windows下不能直接装vllm;会报错ModuleNotFoundError: No module named ‘vllm._C‘
文章目录
- -1. Windows下不能直接装vllm
- 前言
- ollama vs vllm
-
-
- Ollama
- vLLM
-
- vllm简介
-
-
- 核心特点
-
- PagedAttention
- 内存优化
- 高效推理
- 应用场景
- 安装与使用
-
-1. Windows下不能直接装vllm
我其实很久之前就意识到这个事儿,后来太久没搞就又忘了。
昨天忙活了半宿,得来的确实一个无法解决的报错。
我把错误的traceback贴出来,希望给像我一样的傻孩子提个醒。
>>> llm = LLM(model="facebook/opt-125m")
INFO 03-01 08:09:50 __init__.py:207] Automatically detected platform cuda.
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "E:\vllm\Lib\site-packages\vllm\utils.py", line 1022, in inner
return fn(*args, **kwargs)
^^^^^^