【拥抱AI】GPT Researcher如何自定义配置LLM
GPT Researcher默认的 LLM（大型语言模型）和嵌入式模型是 OpenAI，因为其卓越的性能和速度。不过，GPT Researcher 支持各种开源和闭源的 LLM 和嵌入式模型，你可以通过更新 SMART_LLM、FAST_LLM 和 EMBEDDING 环境变量轻松切换它们。你可能还需要包含提供商的 API 密钥以及相应的配置参数。
目前支持的 LLM 包括：
openai、anthropic、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、groq、bedrock 和 litellm。
目前支持的嵌入式模型包括 openai、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、nomic、voyageai 和 bedrock。
如需了解支持的自定义选项，请参阅 相关文档。
请注意：GPT Researcher 经过优化，并在 GPT 模型上进行了大量测试。其他一些模型可能会遇到上下文限制错误和意外响应。请在我们的 Discord 社区频道中提供任何反馈，以便我们更好地改进体验和性能。
以下是配置各种支持的 LLM 的示例。
OpenAI
# 设置自定义 OpenAI API 密钥
OPENAI_API_KEY=[你的密钥]
# 指定 LLM
FAST_LLM="openai:gpt-4o-mini"
SMART_LLM="openai:gpt-4o"
STRATEGIC_LLM="openai:o1-preview"
# 指定嵌入式模型
EMBEDDING="openai:text-embedding-3-small"
自定义 LLM
创建一个本地 OpenAI API，使用 llama.cpp 服务器。
对于自定义 LLM，指定 “openai:{你的 LLM}”。
# 设置自定义 OpenAI API URL
OPENAI_BASE_URL="http://localhost:1234/v1"
# 设置自定义 OpenAI API 密钥
OPENAI_API_KEY="dummy_key"
# 指定自定义 LLM
FAST_LLM="openai:your_fast_llm"
SMART_LLM="openai:your_smart_llm"
STRATEGIC_LLM="openai:your_strategic_llm"
对于自定义嵌入式模型，设置 “custom:{你的嵌入式模型}”。
# 设置自定义 OpenAI API URL
OPENAI_BASE_URL="http://localhost:1234/v1"
# 设置自定义 OpenAI API 密钥
OPENAI_API_KEY="dummy_key"
# 指定自定义嵌入式模型
EMBEDDING="custom:your_embedding"
Azure OpenAI
在 Azure OpenAI 中，你需要选择要使用的模型，并为每个模型进行部署。你可以在 Azure OpenAI 门户中完成这些操作。
2025 年 1 月推荐使用的模型包括：
deepseek-chat
gpt-4o-mini
gpt-4o
o1-preview 或 o1-mini（你可能需要先申请访问权限，然后才能部署这些模型）。
请在你的 .env 文件中指定模型名称/部署名称。
必备条件：
你的端点可以使用任何有效的名称。
模型的部署名称 必须与模型名称相同。
你需要部署一个 嵌入式模型：为了确保最佳性能，GPT Researcher 需要 “text-embedding-3-large” 模型。请将此特定模型部署到你的 Azure 端点。
建议：
配额增加：你还应该申请增加嵌入式模型的配额，因为默认配额是不够的。
# 设置你在 Azure 门户中配置的 Azure API 密钥和部署。除非你自己配置，否则没有默认访问点！
AZURE_OPENAI_API_KEY="[你的密钥]"
AZURE_OPENAI_ENDPOINT="https://{你的端点}.openai.azure.com/"
OPENAI_API_VERSION="2024-05-01-preview"
# 每个字符串是 “azure_openai:部署名称”。确保你的部署名称与你使用的模型名称相同！
FAST_LLM="azure_openai:gpt-4o-mini"
SMART_LLM="azure_openai:gpt-4o"
STRATEGIC_LLM="azure_openai:o1-preview"
# 指定嵌入式模型
EMBEDDING="azure_openai:text-embedding-3-large"
Ollama
GPT Researcher 支持 Ollama LLM 和嵌入式模型。你可以选择其中一个或两者都使用。要使用 Ollama，你可以设置以下环境变量。
OLLAMA_BASE_URL=http://localhost:11434
FAST_LLM="ollama:llama3"
SMART_LLM="ollama:llama3"
STRATEGIC_LLM="ollama:llama3"
EMBEDDING="ollama:nomic-embed-text"
Groq
GroqCloud 提供先进的 AI 硬件和软件解决方案，旨在提供令人惊叹的快速 AI 推理性能。要在 GPT Researcher 中使用 Groq，你需要一个 GroqCloud 账户和一个 API 密钥。（注意：Groq 有一个非常 慷慨的免费层级。）
你可以在这里注册并登录：https://console.groq.com/login
然后，你可以在这里获取 API 密钥：https://console.groq.com/keys
获取 API 密钥后，你需要将其添加到你的 系统环境 中，使用变量名：
GROQ_API_KEY="*********************"
最后，你需要配置 GPT Researcher 提供商和模型变量：
GROQ_API_KEY=[你的密钥]
# 设置 Groq 支持的 LLM 模型之一
FAST_LLM="groq:Mixtral-8x7b-32768"
SMART_LLM="groq:Mixtral-8x7b-32768"
STRATEGIC_LLM="groq:Mixtral-8x7b-32768"
Anthropic
请参考 Anthropic 的入门页面以获取 Anthropic API 密钥。然后更新相应的环境变量，例如：
ANTHROPIC_API_KEY=[你的密钥]
FAST_LLM="anthropic:claude-2.1"
SMART_LLM="anthropic:claude-3-opus-20240229"
STRATEGIC_LLM="anthropic:claude-3-opus-20240229"
Anthropic 不提供自己的嵌入式模型。
Mistral AI要注册 Mistral API 密钥。然后更新相应的环境变量，例如：
MISTRAL_API_KEY=[你的密钥]
FAST_LLM="mistralai:open-mistral-7b"
SMART_LLM="mistralai:mistral-large-latest"
STRATEGIC_LLM="mistralai:mistral-large-latest"
EMBEDDING="mistralai:mistral-embed"
Together AI
Together AI 提供了一个 API，可以通过几行代码查询 50 多个领先的开源模型。然后更新相应的环境变量，例如：
TOGETHER_API_KEY=[你的密钥]
FAST_LLM="together:meta-llama/Llama-3-8b-chat-hf"
SMART_LLM="together:meta-llama/Llama-3-70b-chat-hf"
STRATEGIC_LLM="together:meta-llama/Llama-3-70b-chat-hf"
EMBEDDING="mistralai:nomic-ai/nomic-embed-text-v1.5"
HuggingFace
此集成需要额外的工作。请遵循 相关指南 了解更多信息。按照上述教程操作后，更新环境变量：
HUGGINGFACE_API_KEY=[你的密钥]
FAST_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta"
SMART_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta"
STRATEGIC_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta"
EMBEDDING="sentence-transformers/all-MiniLM-L6-v2"
Google Gemini
请在这里注册以获取 Google Gemini API 密钥，并更新以下环境变量：
GOOGLE_API_KEY=[你的密钥]
FAST_LLM="google_genai:gemini-1.5-flash"
SMART_LLM="google_genai:gemini-1.5-pro"
STRATEGIC_LLM="google_genai:gemini-1.5-pro"
EMBEDDING="google_genai:models/text-embedding-004"
Google VertexAI
FAST_LLM="google_vertexai:gemini-1.5-flash-001"
SMART_LLM="google_vertexai:gemini-1.5-pro-001"
STRATEGIC_LLM="google_vertexai:gemini-1.5-pro-001"
EMBEDDING="google_vertexai:text-embedding-004"
Cohere
COHERE_API_KEY=[你的密钥]
FAST_LLM="cohere:command"
SMART_LLM="cohere:command-nightly"
STRATEGIC_LLM="cohere:command-nightly"
EMBEDDING="cohere:embed-english-v3.0"
Fireworks
FIREWORKS_API_KEY=[你的密钥]
base_url="https://api.fireworks.ai/inference/v1/completions"
FAST_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct"
SMART_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct"
STRATEGIC_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct"
EMBEDDING="fireworks:nomic-ai/nomic-embed-text-v1.5"
Bedrock
FAST_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0"
SMART_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0"
STRATEGIC_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0"
EMBEDDING="bedrock:amazon.titan-embed-text-v2:0"
LiteLLM
FAST_LLM="litellm:perplexity/pplx-7b-chat"
SMART_LLM="litellm:perplexity/pplx-70b-chat"
STRATEGIC_LLM="litellm:perplexity/pplx-70b-chat"
xAI
FAST_LLM="xai:grok-beta"
SMART_LLM="xai:grok-beta"
STRATEGIC_LLM="xai:grok-beta"
DeepSeek
DEEPSEEK_API_KEY=[你的密钥]
FAST_LLM="deepseek:deepseek-chat"
SMART_LLM="deepseek:deepseek-chat"
STRATEGIC_LLM="deepseek:deepseek-chat"
Nomic
EMBEDDING="nomic:nomic-embed-text-v1.5"
VoyageAI
VOYAGE_API_KEY=[你的密钥]
EMBEDDING="voyageai:voyage-law-2"
结束语
以上是就是GPT Researcher配置LLM的详细攻略了，如果对您有帮助，请动动你发财手指点赞，谢谢。