Dify 从入门到精通（第 6/100 篇）：配置你的第一个 LLM：OpenAI、Claude 和 Ollama

Dify 从入门到精通（第 6/100 篇）：配置你的第一个 LLM：OpenAI、Claude 和 Ollama

在 Dify 博客系列：从入门到精通（100 篇） 的前五篇文章中，我们系统地探索了 Dify 的核心概念与实践。

• 第一篇《Dify 究竟是什么？真能开启低代码 AI 应用开发的未来？》介绍了 Dify 的定位与优势；
• 第二篇《Dify 的核心组件：从节点到 RAG 管道》深入剖析了 Dify 的功能模块；
• 第三篇《Dify vs 其他 AI 平台：LangChain、Flowise、CrewAI》对比了 Dify 与其他平台的优劣。
• 第四篇《快速上手 Dify 云端：5 分钟创建第一个应用》带您实践了云端部署的问答机器人。
• 第五篇《Dify 本地部署入门：Docker Compose 指南》讲解了本地部署。

本文是系列的第六篇，聚焦 Dify 的核心组件之一——大型语言模型（LLM）的配置。我们将详细讲解如何在 Dify 中配置三种主流 LLM：OpenAI GPT、Anthropic Claude 和本地开源模型 Ollama（以 Llama 3 为例），包括环境准备、配置步骤、测试方法和优化技巧。本文侧重知识干货，确保您在 20-30 分钟内完成 LLM 配置并运行测试用例。本文适合初学者、开发者以及希望优化 Dify 应用的从业者。完成本文后，您将为后续文章（如第 7 篇《理解 Dify 的 Chatflow：构建对话机器人》）做好准备。跟随 逻极，解锁 Dify 的 LLM 配置之旅！

为什么需要配置 LLM？

大型语言模型（LLM）是 Dify 应用的核心，负责处理文本输入、生成回答或执行复杂任务（如数据分析、内容生成）。Dify 支持多种 LLM，允许用户根据性能、成本和隐私需求选择合适的模型：

• OpenAI GPT：高性能商业模型，适合快速开发和通用场景。
• Anthropic Claude：以安全性和对话能力著称，适合企业级应用。
• Ollama：开源模型，支持本地部署，适合隐私敏感和离线场景。

配置目标：

• 确保 LLM 在 Dify 中正常运行。
• 优化模型选择，平衡性能和成本。
• 支持本地和云端部署的灵活切换。

适用场景：

• 聊天机器人：生成自然对话。
• 数据分析：处理和总结复杂文本。
• 内容生成：自动化文案或报告。

注意：本文假设您已完成 Dify 云端（第四篇）或本地部署（第五篇）。若未部署，建议先参考前文。

前置准备

在配置 LLM 之前，您需要：

1. Dify 环境：

   • 云端：注册 Dify 官网 账户，获取 200 次免费 OpenAI 调用。
   • 本地：完成第五篇的 Docker Compose 部署，访问 http://localhost:3000。

2. LLM 相关准备：

   • OpenAI：API 密钥（从 OpenAI 平台 获取）。
   • Claude：API 密钥（从 Anthropic 平台 获取）。
   • Ollama：本地服务器运行 Ollama，推荐 4 vCPU、16GB 内存（GPU 可选）。

3. 工具：

   • 浏览器：访问 Dify 仪表板。
   • 终端：用于本地 Ollama 安装和测试。
   • 可选：curl 或 Postman，测试 API 调用。

4. 时间预估：20-30 分钟（含配置和测试）。

干货：为确保性能，建议使用高性能模型（如 GPT-4o 或 Claude 3.5）进行云端测试；本地部署推荐 Llama 3（8B 参数），需至少 8GB 内存或 4GB GPU。

步骤 1：配置 OpenAI GPT

OpenAI GPT 系列（如 GPT-4o）是 Dify 默认支持的高性能模型，适合快速开发。

1. 获取 API 密钥：

   • 登录 OpenAI 平台，导航至“API Keys”。
   • 创建新密钥（如 sk-xxxx），复制并保存。
   • 注意：密钥需安全存储，避免泄露。

2. 在 Dify 中配置：

   • 登录 Dify 仪表板（云端：https://cloud.dify.ai；本地：http://localhost:3000）。
   • 点击“Models” > “Add Model” > “OpenAI”。
   • 输入：
     • Provider：OpenAI
     • Model：gpt-4o
     • API Key：sk-xxxx
   • 点击“Test Connection”，确认连接成功。
   • 点击“Save”保存配置。

3. 测试模型：

   • 在模型配置页面，输入测试提示：

     Generate a 50-word summary about AI in healthcare.
     

   • 预期输出：

     AI in healthcare enhances diagnostics, treatment planning, and patient care. Machine learning analyzes medical images, predicts diseases, and personalizes therapies. Natural language processing streamlines records and chatbots assist patients. Ethical concerns like bias and privacy remain critical challenges for widespread adoption.
     

   • 若输出正常，模型配置成功。

干货：

• 免费额度：Dify Cloud 提供 200 次 GPT 调用，测试时优先使用简单提示（如 50 字）节省额度。
• 模型选择：GPT-4o 性能优于 GPT-3.5，但成本较高；若预算有限，可选 GPT-3.5-turbo。
• 错误排查：若连接失败，检查密钥格式或网络（OpenAI API 需访问 api.openai.com）。

步骤 2：配置 Anthropic Claude

Claude（如 Claude 3.5 Sonnet）以对话能力和安全性著称，适合企业级场景。

1. 获取 API 密钥：

   • 登录 Anthropic 平台，申请 API 访问（可能需等待审批）。
   • 创建密钥（如 sk-ant-xxxx），复制保存。

2. 在 Dify 中配置：

   • 进入“Models” > “Add Model” > “Anthropic”。
   • 输入：
     • Provider：Anthropic
     • Model：claude-3-5-sonnet-20240620
     • API Key：sk-ant-xxxx
   • 点击“Test Connection”，确认连接。
   • 点击“Save”。

3. 测试模型：

   • 输入测试提示：

     Summarize the benefits of AI in education in 50 words.
     

   • 预期输出：

     AI in education personalizes learning, automates grading, and enhances engagement through interactive tools. It analyzes student performance, offers tailored resources, and supports teachers with insights. Virtual tutors and chatbots provide 24/7 assistance, improving accessibility, but ethical concerns like data privacy require careful management.
     

   • 确认输出正常。

干货：

• Claude 优势：在对话连贯性和安全性上优于 GPT，适合客户支持或敏感数据场景。
• 配额限制：Claude API 有严格的调用限制，建议在 Prompt 中明确字数（如 50 字）以优化成本。
• 调试：若连接失败，检查密钥是否过期或网络是否支持 api.anthropic.com。

步骤 3：配置 Ollama（本地模型）

Ollama 是一个开源 LLM 运行框架，支持 Llama 3 等模型，适合本地部署和隐私敏感场景。

1. 安装 Ollama：

   • 在本地服务器（Ubuntu/macOS/Windows）运行：

     curl -fsSL https://ollama.com/install.sh | sh
     

   • 拉取 Llama 3 模型（8B 参数）：

     ollama pull llama3
     

   • 验证：

     ollama list
     

     确认 llama3:latest 出现在列表。

2. 启动 Ollama 服务：

   • 运行：

     ollama serve
     

   • 默认监听 http://localhost:11434。

3. 在 Dify 本地部署中配置：

   • 确保已完成第五篇的本地部署（http://localhost:3000）。
   • 编辑 dify/docker/.env：

     OLLAMA_BASE_URL=http://host.docker.internal:11434
     

   • 若非 Docker 环境，使用 http://localhost:11434。
   • 重启 Dify：

     cd dify/docker
     docker-compose down
     docker-compose up -d
     

4. 在 Dify 中添加模型：

   • 进入“Models” > “Add Model” > “Ollama”。
   • 输入：
     • Provider：Ollama
     • Base URL：http://host.docker.internal:11434
     • Model：llama3
   • 点击“Test Connection”，确认连接。
   • 点击“Save”。

5. 测试模型：

   • 输入测试提示：

     Explain the role of AI in financial analysis in 50 words.
     

   • 预期输出：

     AI in financial analysis automates data processing, predicts market trends, and enhances risk assessment. Machine learning models analyze historical data, detect patterns, and optimize trading strategies. Natural language processing extracts insights from reports, improving decision-making efficiency while addressing challenges like data bias and interpretability.
     

   • 确认输出正常。

干货：

• 硬件要求：Llama 3（8B）需 8GB 内存，推荐 GPU（如 NVIDIA 4GB VRAM）加速推理。
• 模型选择：Llama 3 性能接近 GPT-3.5，适合本地测试；若需更高性能，可尝试 Mistral 或 Mixtral。
• 网络配置：macOS/Windows 用户需用 host.docker.internal；Linux 用户用 localhost 或容器 IP。

步骤 4：测试 LLM 在 Chatflow 应用中

我们将复现第四篇的 FAQ 机器人，测试不同 LLM 的效果。

1. 创建 Chatflow 应用：

   • 登录 Dify 仪表板，点击“Create Application” > “Chatflow” > “Knowledge Q&A”。
   • 命名应用（如“FAQ Bot”）。
   • 上传 FAQ 文档（如“company_faq.pdf”），分段大小 512，嵌入模型 sentence-transformers。

2. 配置 LLM 节点：

   • 打开工作流编辑器，选择 LLM 节点。
   • 切换模型：
     • 测试 1：OpenAI GPT-4o
     • 测试 2：Claude 3.5 Sonnet
     • 测试 3：Ollama Llama 3
   • 设置 Prompt：

     Answer {{start.question}} based on {{knowledge_retrieval.output}}. Keep responses concise, under 100 words, and professional.
     

3. 测试用例：

   • 输入：“What is the return policy for online purchases?”
   • 比较输出：
     • GPT-4o：快速响应，语言流畅，引用准确。
     • Claude：语气专业，上下文连贯，适合正式场景。
     • Llama 3：响应稍慢（视硬件），但准确性接近 GPT-3.5。
   • 预期输出（示例）：

     Our return policy allows returns within 30 days with a valid receipt. Items must be unused and in original packaging. Refunds are issued to the original payment method within 5-7 business days.
     

4. API 测试：

   • 获取 API 端点（“API Access”面板）：

     Endpoint: http://localhost:5001/v1/chat-messages
     Authorization: Bearer <your_api_key>
     

   • 测试：

     curl -X POST http://localhost:5001/v1/chat-messages \
     -H "Authorization: Bearer <your_api_key>" \
     -H "Content-Type: application/json" \
     -d '{"query": "What is the return policy?", "app_id": "faq-bot"}'
     

干货：

• 模型切换：在工作流中动态切换 LLM，比较性能（如 GPT-4o 快，Claude 语气更正式）。
• Prompt 优化：添加明确指令（如“under 100 words”）控制输出长度。
• 调试：使用“Workflow Process”面板检查 LLM 输入/输出，定位问题。

进阶技巧

1. Prompt 工程：

   • 优化 Prompt 提高准确性：

     Answer {{start.question}} using {{knowledge_retrieval.output}}. If no relevant information is found, respond: "Sorry, I couldn't find an answer in the knowledge base." Format as a bullet list if multiple points are needed.
     

   • 测试不同 Prompt 对输出影响。

2. 模型参数调整：

   • Temperature：默认 0.7，降低（0.3）增加确定性，适合正式回答。
   • Max Tokens：设为 100，控制输出长度。
   • 配置示例（Dify 界面）：

     Temperature: 0.3
     Max Tokens: 100
     

3. 多模型组合：

   • 使用 If/Else 节点动态选择模型：

     If {{start.question}} contains "technical", use GPT-4o; else use Claude.
     

   • 适合复杂场景（如技术问题用 GPT，客服用 Claude）。

4. Ollama 优化：

   • 使用 GPU 加速：

     ollama serve --gpu
     

   • 拉取轻量模型（如 Llama 3 4B）：

     ollama pull llama3:4b
     

干货：定期更新 Ollama（ollama pull llama3）获取最新模型优化。监控 GPU/内存使用（nvidia-smi 或 htop），避免性能瓶颈。

常见问题与排查

• Q：OpenAI/Claude API 连接失败？

  • A：检查 API 密钥格式、网络连接（需访问 api.openai.com 或 api.anthropic.com），或确认额度未超限。

• Q：Ollama 响应缓慢？

  • A：检查硬件（推荐 GPU 或 16GB+ 内存），尝试轻量模型（如 Llama 3 4B）。

• Q：输出不准确？

  • A：优化 Prompt，明确指令；检查知识库内容；或切换更高性能模型（如 GPT-4o）。

• Q：如何降低成本？

  • A：优先使用 Ollama 离线模型，或优化 Prompt 减少 API 调用。

干货：记录 API 调用日志（Dify 仪表板“Logs”面板），分析模型性能和成本。Ollama 用户可运行 ollama ps 检查模型状态。

实践案例：企业 FAQ 机器人（多模型测试）

背景：一家零售企业需部署 FAQ 机器人，回答客户关于退货和优惠的问题，测试不同 LLM 的效果。

• 环境：本地 Dify（第五篇），Ollama（Llama 3），OpenAI GPT-4o，Claude 3.5。
• 配置：
  • 知识库：上传“retail_faq.pdf”（退货、优惠政策）。
  • Chatflow 配置：

    Prompt: Answer {{start.question}} based on {{knowledge_retrieval.output}}. Use a friendly tone, under 100 words.
    

  • 测试模型：GPT-4o、Claude、Llama 3。
• 测试：
  • 输入：“What discounts are available for bulk purchases?”
  • 输出比较：
    • GPT-4o：快速，语言自然：“Bulk purchases over $500 qualify for a 10% discount, applied at checkout.”
    • Claude：语气正式：“A 10% discount is available for bulk purchases exceeding $500, per our policy.”
    • Llama 3：稍慢，准确性稍逊：“Bulk orders above $500 get 10% off, check policy for details.”
• 成果：确认 GPT-4o 适合快速响应，Claude 适合正式场景，Llama 3 满足离线需求。

干货：记录各模型的响应时间和准确性，选择最适合场景的模型（如离线优先选 Ollama）。

结论

通过本文，您学会了在 Dify 中配置三种主流 LLM：OpenAI GPT、Anthropic Claude 和 Ollama Llama 3。从获取 API 密钥到本地模型部署，再到测试和优化，我们提供了详细步骤和实用技巧，确保您快速上手。本地 Ollama 配置满足隐私需求，商业模型如 GPT 和 Claude 提供高性能选项。本文的实践为后续 Chatflow 和 Workflow 开发奠定了基础。

在 Dify 博客系列：从入门到精通（100 篇） 的下一篇文章——第 7 篇《Dify 从入门到精通（第 7/100 篇）：理解 Dify 的 Chatflow：构建对话机器人》中，我们将深入探索 Chatflow 的对话机制，打造更智能的对话机器人。继续跟随 逻极，解锁 Dify 从入门到精通的完整学习路径！