随着大语言模型(LLM)的广泛应用,开发者常常需要从模型中提取结构化数据,例如 JSON 格式的输出,以便直接用于程序化处理。本文将探讨如何通过 JSON Schema 约束模型输出,并以动态输入的近义词查询为例,分析其在 Ollama、vLLM、SGLang 和 OpenAI 等平台上的实现方式。
需求背景
假设我们需要模型为任意数量的单词(例如 “test”、“study”、“work”)生成最多 2 个近义词,并返回 JSON 格式的结果,如:
{
"test": ["exam", "trial"],