吴恩达新课程：Agentic AI（笔记10）
4.2、代理式 AI 工作流程的错误分析 (Error Analysis)
作者：司沐
课程地址： learn.deeplearning.ai/courses/agentic-ai
github地址： datawhalechina/agentic-ai
在复杂的代理式 AI 工作流程中，通过系统性的错误分析来确定工作重点，是提高系统改进效率的关键。
对大多数初学者而言，错误分析好像并不是一件值得去做的事——我能用半天就搭起一个运行效率不错的Demo系统，为什么还要花更多的时间写一个可维护的错误分析系统呢？
但是，当Agent系统已经MVP，或者即将投入生产时，系统可能已经变得十分复杂。这时候如果仍像Demo阶段依赖直觉，就对直觉准度提出了极大的考验——到底是哪一环节出了影响效果的问题，或者还有提升空间？要不要单独拆出来跑？如果拆出来按单元跑，要不要Mock数据？如果系统需要经常更换底层LLM，风险就更大了。
所以，从一开始就将错误分析纳入计划，有利于在项目复杂化，工程化后仍能很好地管理。比如在多次测试后，发现总有一些组件或步骤很稳定，而另一些很容易受模型或输入格式的影响，这就帮助了我们深入理解系统，也能锻炼我们的Agent直觉。
那么，应该如何进行错误分析？
错误分析的核心是观察和量化，以找出工作流程中表现最差的组件。
-
检查追踪 (Traces) 和中间输出