5.5 可观测性：洞悉系统内部
- 三大支柱：
- Metrics（指标）：数值型、聚合性的数据（Counter, Gauge, Histogram）。工具：Prometheus + Grafana。
- Logs（日志）：离散的、带时间戳的事件记录。工具：ELK Stack, Loki + Grafana。
- Traces（追踪）：请求在分布式系统中的完整调用链。工具：Jaeger, Zipkin, Grafana Tempo。
- OpenTelemetry (OTel)：统一的可观测性框架，提供API、SDK、工具。
- 自动Instrumentation：
opentelemetry-instrumentation-*包自动为常见库（FastAPI, Requests, SQLAlchemy, Kafka, Redis）生成追踪和指标。 - 手动Instrumentation：在关键业务逻辑中使用
@tracer.start_as_current_span添加自定义Span，使用meter创建自定义指标。 - Context Propagation：确保Trace Context在服务间调用（HTTP Header, 消息队列元数据）中正确传递。
- Python集成实践：
- 初始化：在应用启动时配置OTel TracerProvider和MeterProvider，配置导出器（Jaeger, Prometheus, Console）。
- FastAPI集成：使用
FastAPIInstrumentor.instrument_app(app)。 - 数据库集成：使用
SQLAlchemyInstrumentor或特定数据库的OTel Instrumentation。 - 消息队列集成：Kafka/Redis等Instrumentation包，或在Producer/Consumer中手动提取/注入Context。
- 自定义指标：在关键操作前后记录Histogram，在状态变化时更新Gauge。
- 结构化日志：使用
structlog或自定义logging.Formatter输出JSON格式日志，包含trace_id, span_id。
- 关键监控指标：
- 流处理：
records-lag-max (Kafka), numRecordsInPerSecond, numRecordsOutPerSecond, latency (端到端/算子), numLateRecordsDropped, checkpointDuration, checkpointFailureRate。 - RAG：
embedding_request_duration, retrieval_latency, llm_request_duration, llm_tokens_used_total, llm_request_success_rate, vector_db_query_latency。 - API服务：
http_request_duration_seconds, http_requests_total (按status_code, path), http_active_requests。 - 资源：
process_cpu_seconds_total, process_memory_bytes, container_cpu_usage, container_memory_usage。
5.6 部署与运维：从开发到生产
- 容器化（Docker）：
- 多阶段构建：构建镜像时分离编译环境和运行环境，减小镜像体积。
- 基础镜像选择：使用官方Python Slim镜像（
python:3.11-slim），考虑使用Distroless增强安全性。 - 依赖管理：使用
pip + requirements.txt，或Poetry/Pipenv。 - 非Root用户：在容器中以非Root用户运行应用。
- 编排（Kubernetes）：
- 资源清单：编写
Deployment, StatefulSet (有状态服务如ZooKeeper/Kafka Broker), Service, ConfigMap, Secret。 - 配置管理：使用
ConfigMap管理配置文件，Secret管理敏感信息（API Key, 密码）。 - 服务发现：Kubernetes DNS (
service-name.namespace.svc.cluster.local)。 - 存储：
PersistentVolumeClaim (PVC) 持久化数据（检查点、向量数据库、日志）。 - 网络策略：使用
NetworkPolicy限制Pod间通信。 - HPA：基于CPU/Memory或自定义指标（如Kafka Consumer Lag）自动扩缩容。
- CI/CD（持续集成/持续部署）：
- 工具：Jenkins, GitLab CI/CD, GitHub Actions, ArgoCD, Flux。
- 流程：
- 代码提交：触发CI Pipeline。
- 构建与测试：运行单元测试、集成测试、代码扫描（SonarQube）、构建Docker镜像。
- 镜像推送：将镜像推送到镜像仓库（Docker Hub, Harbor, ECR, GCR）。
- 部署到测试环境：自动部署到Kubernetes测试命名空间。
- 测试与验证：运行自动化测试（性能、安全）、人工验证。
- 部署到生产环境：审批通过后，自动或手动触发部署到生产命名空间（可采用蓝绿部署、金丝雀发布）。
- 配置管理：
- 环境变量：用于配置不同环境（Dev/Test/Prod）的参数（数据库地址、Kafka Broker、API Key）。
- 配置中心：Consul, etcd, Spring Cloud Config (通过客户端库集成)。
- 动态配置：在运行时通过API或Watch机制更新配置（无需重启）。
- 运维自动化：
- 基础设施即代码（IaC）：Terraform, Pulumi管理云资源（VPC, VM, Kubernetes Cluster）。
- 配置即代码：Ansible, SaltStack管理服务器配置。
- 监控告警自动化：Prometheus Alertmanager规则配置即代码。
- 故障恢复自动化：Kubernetes自愈（重启失败Pod），结合Argo Rollouts实现金丝雀发布自动回滚。
第六章：实战案例：构建智能客服实时分析系统
6.1 项目背景与目标
- 背景：某大型电商平台客服中心面临海量用户咨询（文本、语音转文本），传统工单系统响应慢，缺乏对用户情绪、问题热点、解决效率的实时洞察。
- 目标：
- 实时接入：实时接收来自Web聊天、App、电话（ASR转文本）的客服对话。
- 实时分析：
- 情感分析（正面/负面/中性）。
- 意图识别（咨询、投诉、售后、建议）。
- 实体提取（产品名称、订单号、问题描述）。
- 对话状态跟踪（排队、接通、处理中、已解决、升级）。
- RAG增强：
- 实时检索产品知识库、订单信息、政策文档，辅助客服回答。
- 自动生成标准回复建议。
- 识别复杂问题，自动推荐升级路径。
- 实时仪表盘：
- 当前排队人数、平均等待时间。
- 实时情感分布（饼图/趋势图）。
- Top 5问题类型/产品（词云/条形图）。
- 客服工作量与解决效率。
- 智能告警：
- 负面情绪激增。
- 特定产品问题集中爆发。
- 平均处理时间超阈值。
6.2 系统架构设计
+-------------------+ +----------------+ +---------------------+ +-------------------+
| 客服渠道 | --> | 数据接入层 | --> | 流处理 & RAG引擎层 | --> | 实时存储 & 服务层 |
| (Web, App, Phone) | | (FastAPI+Kafka) | | (PySpark + LlamaIndex)| | (ClickHouse + |
+-------------------+ +----------------+ +---------------------+ | FastAPI + Grafana)|| +-------------------+| ^| | (查询/展示)v |
+-------------------+ +----------------+ +---------------------+ +-------------------+
| 知识库管理 | --> | 离线索引层 | | | | 客服工作台 |
| (文档, 产品库) | | (Airflow + | | | | (Web UI + RAG API)|
| | | LlamaIndex) | | | | |
+-------------------+ +----------------+ +---------------------+ +-------------------+
6.3 技术选型
- 数据接入：FastAPI (接收Web/App文本), Kafka (消息总线), Debezium (捕获客服系统DB变更)。
- 流处理引擎：PySpark Structured Streaming (批流一体，生态成熟，易集成ML)。
- 实时分析库：
- 情感分析：
transformers (预训练模型如cardiffnlp/twitter-roberta-base-sentiment-latest)。 - 意图识别/实体提取：
spaCy (预训练模型 + 规则) 或 微调transformers模型。 - 在线学习：
river
