langchain 缓存 Caching

使用 LangChain 框架连接 DeepSeek API 的初始化代码

from langchain_deepseek import ChatDeepSeek
chat = ChatDeepSeek(model="deepseek-chat",temperature=0,api_key=API_KEY,
)

1. 内存缓存

from langchain.globals import set_llm_cache #用于设置全局的LLM缓存机制。
from langchain.cache import InMemoryCache #将缓存数据存储在内存中，而不是磁盘上,需要 pip install langchain-community
set_llm_cache(InMemoryCache()) #使用内存缓存来存储和检索LLM的调用结果。
chat.invoke("3只鸭子几条腿？")
chat.invoke("3只鸭子几条腿？") # 当提问第2次一模一样的问题时，返回速度相当快

2. 硬盘缓存

from langchain.globals import set_llm_cache
from langchain.cache import SQLiteCache
set_llm_cache(SQLiteCache(database_path="./langchain.db")) # 会在当前目录生成 langchain.db 文件#加入问答到缓存中
chat.invoke("讲一个10个字的故事？")
chat.invoke("讲一个10个字的故事？")