上下文工程（context engineering）学习笔记

       当我们使用LLM出现性能不佳时，一般可能原因有两种，一种是模型能力局限： 基座模型自身的能力不足，需要对模型本身进行优化。第二种是上下文信息缺失： 模型没有接收到生成高质量回复所需的恰当上下文。现在基础模型的智能已经表现优越，这时模型输出不及预期的原因更多指向第二种。即我们没有实现有效的上下文工程，导致模型缺失了一些解决问题的关键信息。而Context Engineering就是针对其提出的一个概念，也是最近一个比较火的概念，下面是对其学习总结笔记，具体如下：

（1）是什么

       Context Engineering（上下文工程）这一概念最初由 Tobi Lütke 与 Andrej Karpathy 在推特中提出，其核心在于：通过精心设计与组织上下文信息，使任务在大型语言模型（LLM）中具备合理可解的条件。具体而言，上下文工程被定义为一种兼具艺术性与科学性的实践，强调在工业级 LLM 应用中，如何精准地向上下文窗口中填充恰到好处的信息，从而为模型的下一步推理提供有效支持。其目标不仅是提供“全部”上下文，更在于提供“恰当”的上下文——在有限窗口内实现信息密度与逻辑完整性的平衡。