当前位置: 首页 > news >正文

Spring AI开发跃迁指南(第二章:精进之道1——花样玩转LLM对话记忆功能)

在这里插入图片描述


1.简介

大模型(LLM)本身是无状态的,也就是说它本上不会保存之前的交互信息,所以在需要LLM有记忆功能时,我们就需要借助外部工具来存储历史的对话信息,从而达到一定程度上的记忆功能。
Spring AI 也提供了聊天记忆功能ChatMemory,允许使用 LLM 跨多个交互存储和检索信息。

示例:为什么需要对话记忆?

LLM 本质是无状态的——每次请求独立处理,无法自动关联历史上下文。例如:

chatModel.call("我叫张三");  
chatModel.call("我是谁?"); // 模型无法回答“张三”  

2.核心组件

Spring AI自身实现了一个ChatMemory->InMemoryChatMemory,它使用内存来保留对话信息,并使用一个MessageWindowChatMemory实现来管理对话历史记录。

ChatMemory接口是聊天记忆功能的底层抽象,实现此接口则可对ChatMemory示例做扩展。消息的底层存储由 处理ChatMemoryRepository,其唯一职责是存储和检索消息ChatMemory实现决定保留哪些消息以及何时删除它们。策略示例包括保留最后 N 条消息、将消息保留一段时间或将消息保留到一定的令牌限制。

@Autowired
private ChatMemory chatMemory;

自动注入ChatMemory。具体的使用示例已经在Spring AI开发跃迁指南(第二章:急速上手3——Spring AI Advisor核心原理、源码讲解及使用实例)有完整的实例。

3.记忆存储类型

存储类型主要分为四种,除了上面介绍的内存存储外还存在JdbcCassandraNeo4j。下面我们主要讲后三种。

3.1.JdbcChatMemoryRepository

JdbcChatMemoryRepository是一个内置实现,使用 JDBC 将消息存储在关系数据库中。支持多种数据库,适用于需要持久存储聊天记忆的应用程序。

pom依赖:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-chat-memory-repository-jdbc</artifactId>
</dependency>

自动配置:

ChatMemoryRepository chatMemoryRepository = JdbcChatMemoryRepository.builder().jdbcTemplate(jdbcTemplate).dialect(new PostgresChatMemoryDialect()).build();ChatMemory chatMemory = MessageWindowChatMemory.builder().chatMemoryRepository(chatMemoryRepository).maxMessages(10).build();

支持的数据库包括:

  • PostgreSQL

  • MySQL / MariaDB

  • SQL Server

  • HSQLDB

配置属性:

属性描述默认值
spring.ai.chat.memory.repository.jdbc.initialize-schema控制何时初始化架构。值:(embedded默认)always、、neverembedded
spring.ai.chat.memory.repository.jdbc.schema用于初始化的架构脚本的位置。支持classpath:URL 和平台占位符。classpath:org/springframework/ai/chat/memory/repository/jdbc/schema-@@platform@@.sql
spring.ai.chat.memory.repository.jdbc.platform如果使用 @@platform@@ 占位符,则在初始化脚本中使用的平台。自动检测

初始化配置:
自动配置将SPRING_AI_CHAT_MEMORY在启动时使用数据库供应商特定的 SQL 脚本自动创建表。默认情况下,模式初始化仅适用于嵌入式数据库(H2、HSQL、Derby 等)。可以使用以下属性控制架构初始化spring.ai.chat.memory.repository.jdbc.initialize-schema

spring.ai.chat.memory.repository.jdbc.initialize-schema=embedded # Only for embedded DBs (default)
spring.ai.chat.memory.repository.jdbc.initialize-schema=always   # Always initialize
spring.ai.chat.memory.repository.jdbc.initialize-schema=never    # Never initialize (useful with Flyway/Liquibase)

3.2.CassandraChatMemory

CassandraChatMemoryRepository使用 Apache Cassandra 存储消息。它适用于需要持久存储聊天内存的应用程序,尤其适用于需要高可用性、持久性、可扩展性以及利用生存时间 (TTL) 功能的应用程序。

pom依赖:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-chat-memory-repository-cassandra</artifactId>
</dependency>

自动配置:

@Autowired
CassandraChatMemoryRepository chatMemoryRepository;ChatMemory chatMemory = MessageWindowChatMemory.builder().chatMemoryRepository(chatMemoryRepository).maxMessages(10).build();

配置属性:

属性描述默认值
spring.cassandra.contactPoints启动集群发现的主机127.0.0.1
spring.cassandra.port要连接的 Cassandra 本机协议端口9042
spring.cassandra.localDatacenter要连接的 Cassandra 数据中心datacenter1
spring.ai.chat.memory.cassandra.time-to-liveCassandra 中写入的消息的生存时间 (TTL)
spring.ai.chat.memory.cassandra.keyspaceCassandra 键空间springframework
spring.ai.chat.memory.cassandra.messages-columnCassandra 消息的列名springframework
spring.ai.chat.memory.cassandra.tableCassandra 表ai_chat_memory
spring.ai.chat.memory.cassandra.initialize-schema是否在启动时初始化模式。true

初始化配置: 自动配置将自动创建ai_chat_memory表。
通过将设置属性spring.ai.chat.memory.repository.cassandra.initialize-schema=false来禁用架构初始化。

3.2.Neo4j ChatMemoryRepository

使用 Neo4j 将聊天消息作为节点和关系存储在属性图数据库中。它适用于希望利用 Neo4j 的图功能实现聊天内存持久化的应用程序。

pom依赖:

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-chat-memory-repository-neo4j</artifactId>
</dependency>

自动配置:

@Autowired
Neo4jChatMemoryRepository chatMemoryRepository;ChatMemory chatMemory = MessageWindowChatMemory.builder().chatMemoryRepository(chatMemoryRepository).maxMessages(10).build();

配置属性:

属性描述默认值
spring.ai.chat.memory.repository.neo4j.sessionLabel存储对话会话的节点的标签Session
spring.ai.chat.memory.repository.neo4j.messageLabel存储消息的节点的标签Message
spring.ai.chat.memory.repository.neo4j.toolCallLabel存储工具调用的节点的标签(例如在助手消息中)ToolCall
spring.ai.chat.memory.repository.neo4j.metadataLabel存储消息元数据的节点的标签Metadata
spring.ai.chat.memory.repository.neo4j.toolResponseLabel存储工具响应的节点的标签ToolResponse
spring.ai.chat.memory.repository.neo4j.mediaLabel存储与消息相关的媒体的节点的标签Media

Neo4j 代码库将自动确保为对话 ID 和消息索引创建索引,以优化性能。如果使用自定义标签,系统也会为这些标签创建索引。无需初始化架构,但您应确保您的应用程序可以访问 Neo4j 实例。

4.Spring AI集成的ChatClient中的记忆

ChatClient中的封装的聊天记忆主要分为三个即MessageChatMemoryAdvisor、
PromptChatMemoryAdvisor和VectorStoreChatMemoryAdvisor其为Spring AI提供的Advisor的一部分。其具体的试用流程及原理请参考:Spring AI开发跃迁指南(第二章:急速上手3——Spring AI Advisor核心原理、源码讲解及使用实例)

相关文章:

  • 互联网 Web 网站
  • 使用Redis的四个常见问题及其解决方案
  • ssh登录wsl2
  • 一、基础环境配置
  • Flowise 本地部署文档及 MCP 使用说明
  • android FragmentManager 删除所有Fragment 重建
  • 【Linux基础知识系列】第七篇-进程与任务管理
  • 代码随想录60期day56
  • 如何判断机器是大端字节序还是小端字节序
  • 【高等数学】(2)函数
  • Python基于SVM技术的手写数字识别问题项目实战
  • MyBatis实战项目测试
  • 本人精通各种语言输出hello world
  • 机电工程常用设备
  • Asp.net core 使用EntityFrame Work
  • 振动力学:有阻尼单自由度系统(简谐力激励的受迫振动)
  • 从汇编的角度揭秘C++引用,豁然开朗
  • 【吾爱】逆向实战crackme160破解记录(三)
  • Generate Permutation
  • ALLEN BRADLEY特价型号1715-OB8DE 模块
  • 衡水企业网站制作公司/搜索引擎优化教程
  • dede做电影网站/百度升级最新版本
  • 开发区网站制作公司/外链网盘网站
  • 企业如何建立网站/推广方案的内容有哪些
  • 兰溪优秀高端网站设计地址/东莞seo排名公司
  • 网站设计如何自学/四川百度推广排名查询