AI Agent系列(十三) -智能体架构的真相

构建一个真正可用的智能体，90% 的工作是软件工程，只有 10% 才是 AI。

Rakesh Gohel 在其著名的AI Agent冰山模型中提出如下结论： AI智能体90%是软件工程，10%是AI。

一、AI智能体生态系统架构

真正的企业级智能体落地并不只是一个能理解自然语言、会自动生成结果的“大模型应用”。

AI 决定智能体“懂不懂”，软件工程决定它“能不能干活”

• AI 模型只解决“脑子”的问题
  通过这个AI脑子实现理解任务、规划步骤、生成内容或结果，这一部分就是“10% AI”

• 软件工程支撑智能体的整个“身体和神经系统”
  企业级的智能体落地还需要考虑用户交互、权限控制、任务编排、数据流转、工具调用、日志监控、异常回滚的软件工程相关的工作，这些工作是“90% 软件工程”，

二、AI智能体架构内容

在冰山模型中，Rakesh Gohel 指出AI 智能体应用落地的生态系统包含14层，从下到上分别为：CPU/GPU 提供商层、基础设施/基础层、数据库、ETL（提取、加载、转换）层、基础模型层、模型路由层、AI 智能体协议层、AI 智能体编排层、AI 智能体认证层、AI 智能体可观测层、工具层、认证层、记忆层、前端层等。

基于冰山模型理解的智能体架构，可以分为用户可见的AI和支撑智能体运行的软件工程两大组成部分：用户可见的AI和支撑智能体运行的软件工程。

2.1. 用户可见的 AI

• 内容：
  自然语言交互、意图理解、文本/代码/报表生成

• 典型体验：

  • C端：ChatGPT、文心一言、通义千问、Cursor
  • B端：智能工单助手、报销自动审核、代码自动补全

• 核心能力：

  • 大模型（LLM）语义理解与生成
  • 基础任务规划与工具选择

2.2. 支撑智能体运行的软件工程

智能体架构中部分是企业真正的建设难点，主要包括：

• 2.2.1 基础资源层：算力 & 存储的“地基”

组件	选型举例	作用
计算节点	GPU/CPU、NPU、TPU	训练 + 推理
容器化	Docker + Kubernetes	秒级扩缩、故障自愈
对象存储	MinIO / AWS S3	存放大模型权重、日志
消息队列	Kafka / RabbitMQ	解耦高并发流数据

K8s 的 HPA（水平自动伸缩）能让智能体流量激增时自动“开副本”，流量回落后自动“缩容”省钱

• 2.2.2 数据与模型层：让 LLM “吃得好、吃得稳”

任务	关键技术	开源/商用示例
数据 ETL	Airflow、Spark	碎片化 → 标准化
语义缓存	Redis + Embedding	相同问题直接命中，减少 30 % 调用
向量数据库	Milvus / Pinecone	长记忆、相似问答
模型路由	Model Mesh、KServe	按成本/延迟动态挑模型

• 2.2.3 运行时核心：Agent 的“大脑+小脑+神经”

模块	职责	技术要点
感知	输入解析	WebSocket、Webhook、API Gateway
推理	LLM 调用	Prompt 模板、Function Calling
记忆	上下文保持	向量检索 + 会话状态持久化
执行	工具调用	LangGraph 节点编排、RPA/API 适配
安全	AuthZ/AuthN	SSO、JWT、OAuth2、审计日志

LangGraph 把“工具-模型-人”画成一张图，节点是动作，边是条件跳转，支持循环、并行、甚至人机回圈

• 2.2.4 编排 & 调度：多智能体“协同作战”

场景	技术方案	典型案例
多 Agent 协作	MCP / A2A 协议	采购 Agent 询价 → 法务 Agent 审合同 → 财务 Agent 付款
分布式任务队列	Celery + Redis	长任务异步化，避免前端超时
事件驱动	CloudEvents + Knative	无服务器事件触发，按需计费

• 2.2.5 DevOps & 可观测：让“黑盒”变“白盒”

维度	工具链示例	关键指标
日志	ELK / Loki + Grafana	Token 消耗、异常栈追踪
链路追踪	Jaeger / SkyWalking	一次对话的完整耗时分布
监控告警	Prometheus + Alertmanager	GPU 利用率>90 % 自动扩容
灰度发布	Argo CD + Flagger	新 Prompt 先 5 % 流量 A/B 测

• 2.2.6 低代码 & 平台化：把 90 % 的工程“产品化”

平台	亮点	适用场景
Coze	拖拽式工作流 + AST 实时编译	企业客服、营销 Bot
腾讯云 TI 平台	千卡级分布式训练 + 一键部署	能源、金融大模型
数商云	微服务 + 容器化交付	电商、政务快速落地

三、企业如何实现AI智能体落地

• 不要高估AI能力

只关注模型而忽视工程建设，智能体很快失效或不可控

• 智能体是软件系统

把智能体当作软件系统，而不是单个模型
先规划好 Workflow、权限、数据、日志、工具集成

• 团队建设需要软件工程方向

90% 的工作需要软件工程、架构、运维人才
只有 10% 是 Prompt、模型微调或推理优化

• 必须重视B端落地、而非C端快跑

C端重体验，轻工程，冰山顶部就能跑 MVP
B端重交付，必须把冰山底部的 90% 建完整

四、智能体落地实践(电商)

4.1 工具与材料清单

我们需要准备“开发工具箱”，通过开源工具和平台，能帮你跳过复杂的底层代码，直接“搭积木”。

4.1.1 必装工具：

• Python环境
  AI开发的通用语言，推荐安装Anaconda，自带常用库；

• VS Code
  代码编辑器，界面友好，支持AI智能补全；

• OpenAI/Deepseek账号
  需注册并申请API Key才能用GPT系列模型，，新手可先用免费额度测试。

4.1.4 开源平台

• LangChain
  开源框架，快速连接大模型与外部工具，比如调用搜索引擎、数据库等；

• AutoGPT
  更“智能”的框架，支持AI自主规划任务；

• Hugging Face

• 开源模型库，可直接调用LLaMA、百川等免费模型。

4.1.3 数据准备

如果智能体需要“个性化知识”：比如企业内部文档、个人笔记，需要提前整理成结构化的文本（如Excel、TXT，PDF），后续需要导入模型“训练”或“记忆”。

4.2 智能体流程搭建

用LangChain搭建“感知-决策-执行”流程，LangChain就像“胶水”，能把模型、工具、记忆粘在一起。我们用它实现“读取链接→提取内容→生成摘要”。

4.3 测试与调优

测试和调优主要需要考虑如下的方面：

• 链接无效时：是否返回“链接无效”提示？（可能需要在代码中添加异常处理）；

• 长文本摘要：是否遗漏关键信息？（可调整temperature参数，或限制模型输出长度）；

• 口语化程度：是否太生硬？（修改提示词，比如加一句“用像朋友聊天一样的语气”）。

4.4 部署上线

可以部署到云端（如免费的Replit、PythonAnywhere），或封装成微信小程序。

• Replit方式：上传代码，点击“运行”，生成一个可访问的URL，通过这个URL，就可以调用你的AI助手啦！