网站建设域名提前买吗杭州亿向建设有限公司 网站

vLLM 目前支持命名函数调用，以及在聊天补全 API 的 tool_choice 字段中支持 auto 和 none 选项。tool_choice 选项中的 required 尚未支持，但已在计划中。

1. 快速开始

启动服务器并启用工具调用功能。此示例使用 Meta 的 Llama 3.1 8B 模型，因此我们需要使用 vLLM 示例目录中的 llama3 工具调用聊天模板：

vllm serve meta-llama/Llama-3.1-8B-Instruct \--enable-auto-tool-choice \--tool-call-parser llama3_json \--chat-template examples/tool_chat_template_llama3.1_json.jinja

接下来，向模型发起一个请求，使其使用可用的工具：