网站建设域名提前买吗杭州亿向建设有限公司 网站
vLLM 目前支持命名函数调用,以及在聊天补全 API 的 tool_choice 字段中支持 auto 和 none 选项。tool_choice 选项中的 required 尚未支持,但已在计划中。
1. 快速开始
启动服务器并启用工具调用功能。此示例使用 Meta 的 Llama 3.1 8B 模型,因此我们需要使用 vLLM 示例目录中的 llama3 工具调用聊天模板:
vllm serve meta-llama/Llama-3.1-8B-Instruct \--enable-auto-tool-choice \--tool-call-parser llama3_json \--chat-template examples/tool_chat_template_llama3.1_json.jinja
接下来,向模型发起一个请求,使其使用可用的工具:
