重庆制作网站有哪些有效获客的六大渠道
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。
更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/
本指南将说明如何使用 vLLM 进行以下操作：
- 对数据集进行离线批量推理；
- 为大语言模型构建 API 服务器；
- 启动与 OpenAI 兼容的 API 服务器。
在继续进行本指南之前，请务必完成安装说明。
注意
默认情况下，vLLM 从 HuggingFace 下载模型。如果您想在以下示例中使用 ModelScope 中的模型，请设置环境变量：
export VLLM_USE_MODELSCOPE=True
离线批量推理
我们首先演示一个使用 vLLM 对数据集进行离线批处理推理的案例。也就是说，我们使用 vLLM 生成输入提示列表的文本。
从 vLLM 导入 LLM 和 SamplingParams。LLM类是使用 vLLM 引擎运行离线推理的主要类。SamplingParams类指定了采样过程的参数。
from vllm import LLM, SamplingParams
定义输入提示列表和生成的采样参数。采样温度设置为 0.8，核采样概率 (nucleus sampling probability) 设置为 0.95。有关采样参数的更多信息，请参阅类定义。
prompts = ["Hello, my name is","The president of the United States is","The capital of France is","The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
使用LLM类和 OPT-125M 模型初始化 vLLM 引擎以进行离线推理。支持的模型列表可以在支持的模型中找到。
llm = LLM(model="facebook/opt-125m")
调用llm.generate生成输出。它将输入提示添加到 vLLM 引擎的等待队列中，并执行 vLLM 引擎来生成高吞吐量的输出。输出作为RequestOutput对象列表返回，其中包括所有输出的 tokens。
outputs = llm.generate(prompts, sampling_params)# Print the outputs.
# 打印输出for output in outputs:prompt = output.promptgenerated_text = output.outputs[0].textprint(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
这个代码示例也可以在 examples/offline_inference.py 中找到。
兼容 OpenAI 服务器
vLLM 可以作为一个实现了 OpenAI API 协议的服务器进行部署。这使得 vLLM 可以直接替代使用 OpenAI API 的应用程序。默认情况下，它在 http://localhost:8000 启动服务器。您可以使用 --host 和--port 参数指定地址。当前，该服务器一次仅托管一个模型（在下面的命令中为 OPT-125M），并实现了模型列表 (list models)、创建聊天补全 (create chat completion) 和创建完成 (create completion) 端点。我们正在积极添加对更多端点的支持。
启动服务器：
vllm serve facebook/opt-125m
默认情况下，服务器使用存储在 tokenizer 中的预定义聊天模板。您可以使用 --chat-template 参数覆盖此模板：
vllm serve facebook/opt-125m --chat-template ./examples/template_chatml.jinja
该服务器可以按照与 OpenAI API 相同的格式进行查询。例如，列出模型：
curl http://localhost:8000/v1/models
您可以传入参数--api-key或设置环境变量VLLM_API_KEY，以使服务器能够检查标头中的 API 密钥。
在 vLLM 中使用 OpenAI Completions API
使用输入提示查询模型：
curl http://localhost:8000/v1/completions \-H "Content-Type: application/json" \-d '{"model": "facebook/opt-125m","prompt": "San Francisco is a","max_tokens": 7,"temperature": 0}'
由于该服务器与 OpenAI API 兼容，因此您可以把它作为使用 OpenAI API 的任意应用程序的直接替代品。例如，另一种查询服务器的方法是通过 openai的 python 包：
from openai import OpenAI# Modify OpenAI's API key and API base to use vLLM's API server.
# 使用 vLLM 的 API 服务器需要修改 OpenAI 的 API 密钥和 API 库。openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(api_key=openai_api_key,base_url=openai_api_base,
)
completion = client.completions.create(model="facebook/opt-125m",prompt="San Francisco is a")
print("Completion result:", completion)
有关更详细的客户端示例，请参阅 examples/openai_completion_client.py。
在 vLLM 中使用 OpenAI Chat API
vLLM 服务器在设计上支持 OpenAI Chat API，允许您与模型进行动态对话。聊天界面是一种与模型交流更具交互性的方式，可以进行来回交流，并将对话历史存储下来。这对于需要上下文或更详细解释的任务非常有用。
使用 OpenAI Chat API 查询模型：
您可以使用创建聊天补全 (create chat completion) 端点在类似聊天的界面中与模型进行交流：
curl http://localhost:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "facebook/opt-125m","messages": [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Who won the world series in 2020?"}]}'
Python 客户端示例：
使用 openai 的 python 包，您还可以以类似聊天的方式与模型进行交流:
from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.# 使用 vLLM 的 API 服务器需要设置 OpenAI 的 API 密钥和 API 库。openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"client = OpenAI(api_key=openai_api_key,base_url=openai_api_base,
)chat_response = client.chat.completions.create(model="facebook/opt-125m",messages=[{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Tell me a joke."},]
)
print("Chat response:", chat_response)
有关 chat API 的更深入示例和高级功能，您可以参考 OpenAI 官方文档。