LangChain使用方法以OpenAI 的聊天模型GPT-4o为例
以使用 OpenAI 的聊天模型（如 GPT-4）为例，从设置环境、初始化模型、调用模型到处理响应的各个方面进行介绍：
1. 环境设置
- 安装
langchain-openai包。 - 设置环境变量
OPENAI_API_KEY，用于认证（以linux为例，windows也可以手动添加环境变量）
pip install -U langchain-openai
export OPENAI_API_KEY="your-api-key"
2. 初始化参数
- 模型参数：如模型名称、温度（temperature）、最大生成令牌数（max_tokens）等。
- 客户端参数：如请求超时时间（timeout）、最大重试次数（max_retries）、API 密钥（api_key）等。
from langchain_openai import ChatOpenAIllm = ChatOpenAI(model="gpt-4o",temperature=0,max_tokens=None,timeout=None,max_retries=2,# api_key="...",# base_url="...",# organization="...",# other params...
)
3. 调用模型
- 通过
invoke方法调用模型，传入对话消息。 - 支持同步和异步调用。
messages = [("system", "You are a helpful translator. Translate the user sentence to French."),("human", "I love programming."),
]
response = llm.invoke(messages)
print(response.content)
完整代码：
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage# 使用LangChain调用DeepSeek模型
llm = ChatOpenAI(model="gpt-4o", # 使用完整的模型名称temperature=0,max_tokens=None,timeout=None,max_retries=2,api_key="******",base_url="https://openrouter.ai/api/v1", # 添加OpenRouter的基础URLopenai_api_base="https://openrouter.ai/api/v1", # 有些版本可能需要这个参数
)
# 创建消息列表 - 使用LangChain的消息格式
messages = [SystemMessage(content="你是一个有帮助的助手，请用中文回答用户的问题。"),HumanMessage(content="今天天气如何？")
]try:response = llm.invoke(messages)print(response.content)
except Exception as e:print(f"发生错误: {e}")
4. 流式响应
- 使用
stream方法获取流式响应，逐步处理生成的文本。
for chunk in llm.stream(messages):print(chunk.text(), end="")
完整代码：
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage# 使用LangChain调用DeepSeek模型
llm = ChatOpenAI(model="gpt-4o", # 使用完整的模型名称temperature=0,max_tokens=None,timeout=None,max_retries=2,api_key="******",base_url="https://openrouter.ai/api/v1", # 添加OpenRouter的基础URLopenai_api_base="https://openrouter.ai/api/v1", # 有些版本可能需要这个参数
)
# 创建消息列表 - 使用LangChain的消息格式
messages = [SystemMessage(content="你是一个有帮助的助手，请用中文回答用户的问题。"),HumanMessage(content="今天天气如何？")
]try:for chunk in llm.stream(messages):print(chunk.text(), end="")
except Exception as e:print(f"发生错误: {e}")
5. 异步调用
- 支持异步调用，适用于需要非阻塞操作的场景。
await llm.ainvoke(messages)
6. 工具调用
- 可以绑定工具（如天气查询、人口查询等），模型会自动调用这些工具。
from pydantic import BaseModel, Fieldclass GetWeather(BaseModel):location: str = Field(..., description="The city and state, e.g. San Francisco, CA")llm_with_tools = llm.bind_tools([GetWeather])
response = llm_with_tools.invoke("What is the weather in LA?")
完整代码：
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage
from pydantic import BaseModel, Fieldclass GetWeather(BaseModel):location: str = Field(..., description="The city and state, e.g. San Francisco, CA")# 使用LangChain调用DeepSeek模型
llm = ChatOpenAI(model="gpt-4o", # 使用完整的模型名称temperature=0,max_tokens=None,timeout=None,max_retries=2,api_key="******",base_url="https://openrouter.ai/api/v1", # 添加OpenRouter的基础URLopenai_api_base="https://openrouter.ai/api/v1", # 有些版本可能需要这个参数
)llm_with_tools = llm.bind_tools([GetWeather])# 创建消息列表 - 使用LangChain的消息格式
messages = [SystemMessage(content="你是一个有帮助的助手，请用中文回答用户的问题。"),HumanMessage(content="北京，今天天气如何？")
]try:for chunk in llm_with_tools.stream(messages):print(chunk.text(), end="")
except Exception as e:print(f"发生错误: {e}")
7. 内置工具
- 使用 OpenAI 的内置工具，如搜索、文档解析等。
tool = {"type": "web_search"}
llm_with_tools = llm.bind_tools([tool])
response = llm_with_tools.invoke("What was a positive news story from today?")
8. 对话状态管理
- 通过
previous_response_id维护对话状态，确保对话连贯性。
response = llm.invoke("Hi, I'm Bob.")
second_response = llm.invoke("What is my name?", previous_response_id=response.response_metadata["id"])
9. 结构化输出
- 可以指定输出格式为特定的 Pydantic 模型。
class Joke(BaseModel):setup: str = Field(description="The setup of the joke")punchline: str = Field(description="The punchline to the joke")structured_llm = llm.with_structured_output(Joke)
response = structured_llm.invoke("Tell me a joke about cats")
10. JSON 模式
- 指定响应格式为 JSON 对象。
json_llm = llm.bind(response_format={"type": "json_object"})
response = json_llm.invoke("Return a JSON object with key 'random_ints' and a value of 10 random ints in [0-99]")
11. 图像输入
- 支持将图像作为输入，模型可以处理图像内容。
import base64
import httpximage_url = "https://example.com/image.jpg"
image_data = base64.b64encode(httpx.get(image_url).content).decode("utf-8")
message = HumanMessage(content=[{"type": "text", "text": "describe the weather in this image"},{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_data}"}},]
)
response = llm.invoke([message])
12. 令牌使用
- 获取每次调用的令牌使用情况，包括输入、输出和总令牌数。
response = llm.invoke(messages)
print(response.usage_metadata)
13. 日志概率
- 获取生成文本的日志概率信息。
logprobs_llm = llm.bind(logprobs=True)
response = logprobs_llm.invoke(messages)
print(response.response_metadata["logprobs"])
14. 响应元数据
- 获取响应的元数据，包括模型名称、完成原因等。
response = llm.invoke(messages)
print(response.response_metadata)
15. 灵活处理
- 使用 OpenAI 的灵活处理（flex processing）服务，适用于非关键任务。
llm = ChatOpenAI(model="o4-mini", service_tier="flex")
16. OpenAI 兼容 API
- 支持与 OpenAI 兼容的 API（如 LM Studio、vLLM 等），通过
extra_body参数传递特定参数。
llm = ChatOpenAI(base_url="http://localhost:8000/v1",api_key="EMPTY",model="meta-llama/Llama-2-7b-chat-hf",extra_body={"use_beam_search": True, "best_of": 4},
)
17. 参数选择
- 使用
model_kwargs传递标准 OpenAI 参数。 - 使用
extra_body传递特定于兼容 API 的自定义参数。
18. 提示缓存优化
- 使用
prompt_cache_key参数优化缓存命中率，减少成本。
response = llm.invoke(messages, prompt_cache_key="example-key-a")
总结
本位提供了非常全面的指导，帮助开发者快速集成和使用 OpenAI 的聊天模型，包括环境设置、参数配置、调用方法、工具集成、响应处理等。