网站建设-广州迅优公司泰安信息港房产网
文章目录
- -1. Windows下不能直接装vllm
- 前言
- ollama vs vllm
- Ollama
- vLLM
- vllm简介
- 核心特点
- PagedAttention
- 内存优化
- 高效推理
- 应用场景
- 安装与使用
-1. Windows下不能直接装vllm
我其实很久之前就意识到这个事儿，后来太久没搞就又忘了。
昨天忙活了半宿，得来的确实一个无法解决的报错。
我把错误的traceback贴出来，希望给像我一样的傻孩子提个醒。
>>> llm = LLM(model="facebook/opt-125m")
INFO 03-01 08:09:50 __init__.py:207] Automatically detected platform cuda.
Traceback (most recent call last):File "<stdin>", line 1, in <module>File "E:\vllm\Lib\site-packages\vllm\utils.py", line 1022, in innerreturn fn(*args, **kwargs)^^^^^^