当前位置：首页 > news >正文

在 DigitalOcean GPU 云服务上使用 LangChain 构建Serverless AI 应用

news 2025/11/8 11:44:11

当你在构建 AI 应用时，合适的工具往往能起到决定性的作用。LangChain 多年来一直是开发者首选的框架之一，它丰富的集成生态系统能帮助开发者从创意快速走向生产落地。

如今，借助 langchain-gradient——DigitalOcean 官方推出的 LangChain 集成方案，你可以将 DigitalOcean Gradient AI 的 Serverless 推理接口 与 LangChain 的 agents、tools 和 chains 无缝结合。

本文将介绍为什么 langchain-gradient 能帮助开发者优化智能体（agent）工作流、如何在几分钟内将 Gradient AI 的 Serverless 推理连接到 LangChain，以及如何使用 invoke 和 stream 方法（附简明示例）。

什么是 LangChain-Gradient？

全新的 langchain-gradient 集成可以在多方面提升你的开发效率：

兼容现有 LangChain 代码的即插即用方案：只需几行代码即可切换到 Gradient AI 的推理端点，无需重写或重构。
**延续 LangChain 的熟悉抽象（Chains、Tools、Agents）**：继续使用你熟悉的构建方式——组合链、接入工具、启动智能体，无需更改工作流。
多模型可选：在 DigitalOcean 上即时访问多种 GPU 加速的 Serverless AI 模型。
开放与灵活：该软件包完全开源，并与最新版本的 LangChain 和 Gradient AI 平台保持兼容。

LangChain 官方文档中已有该集成的使用说明，同时也可以通过 PyPI 上的项目包实现快速集成。

获取 DigitalOcean API Key

要运行 langchain-gradient，首先需要从 DigitalOcean Cloud 控制台 获取推理访问密钥：

登录 DigitalOcean Cloud 控制台。
打开 Agent Platform → Serverless Inference。
点击 “Create model access key”，命名并生成密钥。
将生成的密钥作为环境变量：

export DIGITALOCEAN_INFERENCE_KEY="your_key_here"

安装 LangChain-Gradient

使用以下命令安装软件包：

pip install langchain-gradient

可用功能

1. `invoke`：单次调用

适用于一次性生成完整输出的场景。

模型生成完成后返回完整字符串或消息对象，适合同步脚本、批处理任务或仅需一次响应的服务端接口。

2. `stream`：流式输出（令牌级别）

适用于希望实时接收部分输出的场景。

模型会逐步输出生成内容，可用于终端、Notebook 或聊天界面中的实时展示，也便于日志追踪或中途取消任务。

使用示例：Invoke 调用

import os  
from langchain_gradient import ChatGradient  llm = ChatGradient(  model="llama3.3-70b-instruct",  api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)result = llm.invoke(  "Summarize the plot of the movie 'Inception' in two sentences, and then explain its ending."  
)  print(result)

解释：

ChatGradient：与 LangChain 兼容的 Gradient AI LLM 客户端。
llm = ChatGradient(...)：创建一个 LLM 实例。
model：指定模型名称（如 "llama3.3-70b-instruct"），可选自 Gradient AI 平台提供的模型。
api_key：从环境变量读取你的 DigitalOcean 推理 API 密钥。
llm.invoke("…")：将提示词发送给模型并返回完整的生成结果。

使用示例：流式输出（Streaming）

from langchain_gradient import ChatGradient  
llm = ChatGradient(  model="llama3.3-70b-instruct",  api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)for chunk in llm.stream("Give me three fun facts about octopuses."):  print(chunk, end="", flush=True)

解释：

llm.stream("…")：请求以流式方式返回生成结果。
for chunk in …：逐步获取生成的令牌/文本块并实时输出。

这种方式可实现实时打印，非常适合命令行界面（CLI）、Notebook 或聊天前端。

常见问题（FAQs）

Q1：什么是 LangChain？ LangChain 是一个用于构建大语言模型应用的框架，提供标准化抽象（Chains、Tools、Agents）和丰富的集成生态，帮助开发者快速搭建端到端 LLM 应用。

Q2：什么是 langchain-gradient？ 它是 DigitalOcean 官方推出的 LangChain 集成，允许开发者通过 LangChain 兼容客户端 ChatGradient 调用 Gradient AI 的 Serverless 推理端点。

Q3：可以使用哪些模型？ 你可以选择 Gradient AI 平台托管的多种模型（如 Llama 系列等）。只需在 Gradient 文档中查找模型 ID，并将其传入 ChatGradient 的 model 参数即可。

Q4：如何进行身份验证？ 在 DigitalOcean Cloud 控制台的 Agent Platform → Serverless Inference 中创建访问密钥，然后将其导出为 DIGITALOCEAN_INFERENCE_KEY 环境变量，并传递给 ChatGradient。

Q5：是否支持流式输出？ 是的。可使用 llm.stream(...) 实现逐步接收输出（适用于 CLI、Notebook、聊天应用），或使用 llm.invoke(...) 进行单次同步调用。

总结

langchain-gradient 让从想法到生产的过程更加快速高效。凭借即插即用的客户端接口、熟悉的 LangChain 抽象、以及 DigitalOcean 提供的 GPU 加速 Serverless 推理，你可以快速原型验证、实时流式输出，并轻松扩展应用规模而无需重构。

该集成完全开源、灵活，并始终与最新的 LangChain 和 Gradient AI 更新保持同步，帮助开发者持续高效地构建下一代智能应用。如需了解更多关于 DigitalOcean Gradient AI 平台的信息，或 GPU 服务器产品信息，可直接咨询 DigitalOcean 中国区独家战略合作伙伴卓普云 aidroplet.com。DigitalOcean 可提供比一线云平台更便宜，并兼具可靠性的 GPU 算力资源。

查看全文

http://www.dtcms.com/a/582423.html