高效构建AI智能体的上下文工程
从“提示工程”到“上下文工程”
随着AI智能体(AI agents)的发展,构建AI系统的核心已从早期的“提示工程”(Prompt Engineering)演进为“上下文工程”(Context Engineering)。
- 提示工程:专注于编写和组织系统提示,以优化单次任务的输出。
- 上下文工程:关注在LLM推理过程中,如何系统性地策划和维护最优的信息集合(即上下文),包括系统指令、工具、外部数据、消息历史等所有输入到模型中的信息。
上下文是一种有限资源
文章强调,尽管模型的上下文窗口在不断扩大,但上下文仍是一种有限且珍贵的资源,原因如下:
- 注意力预算有限:LLM的“注意力”是有限的。随着上下文长度的增加,模型对信息的准确回忆能力会下降,这种现象被称为“上下文腐烂”(Context Rot)。
- 性能梯度而非硬性悬崖:性能会随着上下文增长而逐渐下降,而不是突然失效。因此,需要精心管理上下文,确保高价