当前位置：首页 > news >正文

21 - 大模型智能体进阶指南 (5)：电影助手的知识革命：从静态存储到实时进化 —— 检索增强与自主学习的协同机制

news 2025/8/11 10:14:31

1、整体架构：大模型智能体的 “五脏六腑”

2、大模型智能体的 “大脑”：决策与调度机制

2.1 意图识别与任务路由

2.2 闭环学习：从 “未知” 到 “已知”

3、检索增强生成（RAG）：让智能体 “说真话”

3.1 知识的 “数字化”：向量嵌入（CustomEmbeddings）

3.2 知识的 “仓库”：Chroma 向量数据库（load_knowledge_base）

3.3 知识的 “检索”：从仓库到答案（query_movie_info）

4、电影助手的核心功能：从查询到推荐

4.1 精准查询

4.2 自主学习

4.3 多维度对比

4.4 个性化推荐

4.5 网络搜索

4.6 数学计算

5、技术亮点：为何这个智能体 “更聪明”

6、技术选型的深层考量

6.1 为何选择 Chroma 而非 Milvus/Faiss？

6.2 Ollama vs 原生 API 的取舍

6.3 正则提取 vs 大模型提取的边界

7、完整代码

8、实验结果

1、整体架构：大模型智能体的 “五脏六腑”

实现了一个具备检索增强能力的大模型智能体（LLM Agent），核心目标是通过 “本地知识库 + 网络搜索 + 自主学习” 的协同，提供精准的电影信息服务。其架构可分为三层，形成 “感知 - 决策 - 执行 - 学习” 的闭环：

层级	核心组件	功能描述
基础层	向量嵌入模型（`CustomEmbeddings`）、Chroma 向量数据库	将电影知识转化为向量并存储，支撑高效检索
功能层	检索系统（`query_movie_info`）、自我学习系统（`SelfLearningSystem`）、网络搜索（`search_with_serpapi`）	实现知识检索、动态学习、外部信息获取
应用层	决策模块（`decide_processing`）、交互接口（`main`）	解析用户需求，调度功能模块，生成自然语言响应

2、大模型智能体的 “大脑”：决策与调度机制

智能体的核心能力在于理解用户意图并自主选择工具，这一过程由decide_processing函数实现，体现了 “智能体” 的自主性。

2.1 意图识别与任务路由

智能体通过关键词匹配和规则引擎解析用户输入类型，优先级如下：

电影查询（最高优先级）：若输入包含电影名（如 “《肖申克的救赎》的导演”），先检索本地知识库；未命中则触发网络搜索，并自动学习新信息。

# 核心逻辑：本地查询→网络搜索→自动学习
movie_name = extract_movie_name(user_input)
if movie_name:movie_ans = query_movie_info(...)  # 查本地知识库if movie_ans: return movie_ans# 本地无结果，调用网络搜索search_result, search_info = search_with_serpapi(...)learn_messages = learner.auto_learn_from_search(...)  # 学习新信息

推荐请求：若输入含 “推荐”“类似” 等关键词（如 “推荐科幻电影”），提取类型、参考电影等条件，调用推荐模块。
复杂推理：若输入涉及多电影对比（如 “《肖申克的救赎》和《泰坦尼克号》哪个早上映”），调用推理模块分析时间 / 类型等维度。
其他任务：数学计算、手动知识学习（如 “《盗梦空间》的导演是诺兰”）等。

2.2 闭环学习：从 “未知” 到 “已知”

智能体通过 “查询 - 缺失 - 搜索 - 学习 - 复用” 的闭环持续进化：

当本地知识库无结果时，自动触发网络搜索；
从搜索结果中提取结构化信息（导演、主演等），通过SelfLearningSystem存入本地知识库；
下次查询同一电影时，直接返回本地结果，无需重复搜索。

3、检索增强生成（RAG）：让智能体 “说真话”

检索增强（RAG）是解决大模型 “幻觉” 和 “知识过时” 的核心技术，通过 “知识检索→增强生成” 流程，确保回答基于真实数据。

3.1 知识的 “数字化”：向量嵌入（`CustomEmbeddings`）

为让计算机理解电影知识的语义，代码使用sentence-transformers/all-MiniLM-L6-v2模型将文本转化为 384 维向量：

class CustomEmbeddings(Embeddings):def embed_query(self, text: str) -> List[float]:# 文本编码为向量（取CLS token的输出）inputs = self.tokenizer(text, return_tensors="pt").to(self.device)with torch.no_grad():outputs = self.model(** inputs)embeddings = outputs.last_hidden_state[:, 0, :].cpu().numpy()return (embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True))[0].tolist()

向量特性：语义相似的文本（如 “导演” 和 “执导”）对应的向量距离更近，支撑相似性检索。

3.2 知识的 “仓库”：Chroma 向量数据库（`load_knowledge_base`）

Chroma 负责存储电影知识的向量，支持高效检索。知识库初始化时加载两类数据：

内置知识：如《肖申克的救赎》《泰坦尼克号》的导演、主演等基础信息；
用户学习的知识：从learning_data.json加载的动态学习内容。

def load_knowledge_base(embedding_model):all_movie_info = ["《肖申克的救赎》|导演|弗兰克·德拉邦特",  # 内置知识# ... 其他内置信息]# 加载用户已学习的知识（避免重复）if os.path.exists(LEARNING_PATH):with open(LEARNING_PATH, 'r') as f:learning_data = json.load(f)for movie, info in learning_data.items():for k, v in info.items():entry = f"《{movie}》|{k}|{v}"if entry not in all_movie_info:all_movie_info.append(entry)# 初始化Chroma数据库db = Chroma.from_documents([Document(page_content=info) for info in all_movie_info],embedding_model,persist_directory="./movie_db")return db

3.3 知识的 “检索”：从仓库到答案（`query_movie_info`）

检索流程分为三步，确保精准获取所需知识：

查询优化：通过大模型将模糊查询（如 “肖申克的救赎导演”）转化为标准化格式（如 “《肖申克的救赎》的导演”），提升检索精度。

相似性检索：先通过电影名筛选候选知识，再用向量相似性排序，取最相关结果。

# 筛选该电影的相关知识
all_docs = db.get()
movie_docs = [doc for doc in all_docs['documents'] if doc.startswith(normalized_name)]

信息整合：从检索结果中提取导演、主演等属性，生成结构化回答。

4、电影助手的核心功能：从查询到推荐

基于上述架构，代码实现了六大核心功能，覆盖电影相关场景：

4.1 精准查询

支持电影名 + 属性（导演 / 主演 / 类型 / 上映时间）的查询，如 “《泰坦尼克号》的主演”，返回 “莱昂纳多・迪卡普里奥、凯特・温斯莱特”。

4.2 自主学习

手动学习：用户输入陈述句（如 “《盗梦空间》的导演是诺兰”），智能体验证后存入知识库。
自动学习：从网络搜索结果中提取信息（如导演名），自动存入本地，无需人工干预。

4.3 多维度对比

支持两部电影的时间（如 “哪部早上映”）和类型（如 “共同类型”）对比，例如：

# 时间对比逻辑
y1, y2 = get_year(movies[0]), get_year(movies[1])
if y1 and y2:return f"《{movies[0]}》({y1}年)比《{movies[1]}》({y2}年)早{y2-y1}年"

4.4 个性化推荐

根据类型、参考电影等条件推荐影片，如 “推荐类似《肖申克的救赎》的犯罪片”，返回《监狱风云》《绿里奇迹》等。