Agent上下文工程综述：从提示词到多智能体，这篇综述讲透了 中国語原文
旺精通：细节全解，深度精通
你有没有发现，当你给AI输入很长的内容时，它常常会“忘记”中间的关键信息？或者明明给了正确资料，它却还是编出错误答案？其实，这些问题的根源，不在于模型不够强，而在于我们给模型的“上下文”没管好。现在，一门叫“上下文工程”的新学科正在崛起，它不仅能让AI记住百万字的内容，还能让多个AI协作解决复杂任务。但这门技术背后，还隐藏着一个让研究者头疼的“能力不对称”难题——AI能看懂复杂信息，却写不出同等复杂的内容。这到底是怎么回事？上下文工程又能给AI带来哪些革命性变化？
我们解读最新技术，文末有相关信息。
作者：张长旺，图源：旺知识
大型语言模型（比如GPT系列）的表现好坏，很大程度上取决于给它们的“上下文”——也就是输入的信息。但以前的“提示工程”只能简单设计输入，没法满足复杂应用的需求。这篇文章提出的“上下文工程”，就是要系统地优化这些上下文信息，让模型能更好地处理超长文本、整合各种知识、记住过去的交互，甚至和其他模型协作。这很重要，因为它能解决当前模型“记不住长文本中间内容”“容易瞎编”“不会用工具”等问题，让AI系统更实用，比如帮医生分析病历、帮学生查资料、帮公司管理知识等，未来潜力巨大。
摘要&解读
大型语言模型（LLMs）的性能从根本上取决于推理过程中提供的上下文信息。本综述介绍了上下文工程这一正式学科，它超越了简单的提示设计，涵盖了对LLMs信息 payload 的系统性优化。我们提出了一个全面的分类法，将上下文工程分解为其基础组件和将这些组件集成到智能系统中的复杂实现。我们首先考察基础组件：（1）上下文检索与生成，包括基于提示的生成和外部知识获取；（2）上下文处理，解决长序列处理、自我优化和结构化信息集成；（3）上下文管理，包括内存层次结构、压缩和优化。然后，我们探讨这些组件如何在架构上集成以创建复杂的系统实现：（1）检索增强生成（RAG），包括模块化、智能体化和图增强架构；（2）内存系统，支持持久交互；（3）工具集成推理，用于函数调用和环境交互；（4）多智能体系统，协调通信和编排。通过对1400多篇研究论文的系统分析，我们的综述不仅建立了该领域的技术路线图，还揭示了一个关键的研究差距：模型能力之间存在根本的不对称性。虽然当前模型在先进的上下文工程增强下，在理解复杂上下文方面表现出显著的能力，但它们在生成同样复杂的长文本输出方面存在明显的局限性。解决这一差距是未来研究的一个决定性优先事项。最终，本综述为推进上下文感知人工智能的研究人员和工程师提供了一个统一的框架。
研究背景： 大型语言模型（LLMs）在自然语言理解和生成方面取得了巨大成功，但其性能严重依赖于输入的“上下文”信息。然而，当前LLMs面临诸多局限：自注意力机制处理长文本时计算开销大，存在“中间迷失”现象；容易产生错误信息（幻觉）；缺乏持久记忆能力，难以进行长对话或复杂任务；与外部工具、知识源的交互能力有限。传统的“提示工程”仅能简单设计输入，无法满足复杂应用对上下文信息的系统性优化需求。因此，“上下文工程”应运而生，旨在通过系统地优化上下文的检索与生成、处理和管理，突破LLMs的固有局限，提升其在实际场景中的效用。
研究贡献：
1. 首次提出“上下文工程”的正式定义和系统分类法，将其从分散的技术实践整合为一门学科，明确其与提示工程的区别与演进关系；
2. 构建了“基础组件-系统实现”的双层框架，系统梳理了上下文检索与生成、处理、管理三大基础组件，以及检索增强生成（RAG）、内存系统、工具集成推理、多智能体系统四大系统实现，涵盖1400多篇研究论文；
3. 指出当前模型存在“能力不对称”的关键研究差距——在上下文理解能力显著提升的同时，生成复杂长文本的能力仍有明显局限；
4. 提出上下文缩放的两个维度（长度缩放、多模态和结构缩放），为技术发展提供方向；5. 系统分析了各技术的评估方法、挑战及未来方向，为领域研究提供统一框架。
实现设计：
1. 基础组件设计：①上下文检索与生成：整合提示工程（零样本/少样本、思维链等）、外部知识检索（RAG、知识图谱）、动态组装（编排机制、自动优化）；②上下文处理：针对长文本开发线性注意力、稀疏注意力等机制，结合自我优化（迭代反馈、元学习）、多模态整合（跨模态表示）、结构化知识处理（图神经网络集成）；③上下文管理：构建层次化内存（工作/短期/长期记忆），开发内容可寻址内存、上下文压缩（标记级选择、分块压缩）等技术。
2. 系统实现设计：①RAG：模块化架构（文档加载-分块-嵌入-检索-生成），扩展为智能体化RAG（检索规划、反思机制）和图增强RAG（知识图谱引导检索）；②内存系统：基于认知科学设计层次化内存架构，开发记忆增强智能体（经验学习、个性化记忆）；③工具集成：定义函数调用规范，实现推理规划-工具调用-结果整合的闭环，支持数字与物理环境交互；④多智能体系统：设计通信协议（消息格式、意图表达）、编排机制（任务分配、冲突解决）和协调策略（集中式/分布式协调）。
实验结果：
1. 长上下文处理技术：LongNet将Transformer复杂度从二次降至线性，支持百万级标记；StreamingLLM处理400万标记序列时加速22.2倍；
2. 自我优化方法：Self-Refine使GPT-4性能提升约20%，思维树（ToT）将24点游戏成功率从4%提高到74%；
3. RAG系统：在问答任务中，知识图谱增强的RAG使MRR达77.6%，BLEU值提升0.32；
4. 内存系统：MemGPT通过虚拟内存管理实现超长对话，LongMem的时间衰减机制有效处理长期依赖
5. 上下文压缩：LLMLingua实现20倍压缩，保持任务性能；
6. 多智能体协作：与单智能体相比，多智能体系统在代码生成等任务上Pass@1指标相对提升29.9-47.1%。这些结果验证了上下文工程技术在提升模型性能、效率和适用性方面的有效性。
1. 引言
LLMs的出现标志着人工智能领域的范式转变，在自然语言理解、生成和推理方面展示出前所未有的能力[103, 1059, 453]。然而，这些模型的性能和功效从根本上取决于它们收到的上下文。这种上下文——从简单的指令提示到复杂的外部知识库——是引导其行为、增强其知识和释放其能力的主要机制。随着LLMs从基本的指令遵循系统演变为复杂应用的核心推理引擎，设计和管理其信息 payload 的方法相应地演变为上下文工程这一正式学科[25, 1256, 1060]。
上下文工程的领域以爆炸性的速度扩展，导致了专门但分散的研究领域的激增。我们将这一领域概念化为由基础组件及其后续实现组成。基础组件通过三个关键阶段代表上下文工程的系统流程：上下文检索与生成，包括基于提示的生成和外部知识获取[25, 591, 48]；上下文处理，涉及长序列处理、自我优化机制和结构化信息集成[196, 735, 489]；以及上下文管理，解决内存层次结构、压缩技术和优化策略[1362, 1074, 813]。
这些基础组件作为更复杂、面向应用的实现的构建块，将LLMs与外部现实联系起来。这些系统包括高级检索增强生成（RAG），它已演变为用于动态知识注入的模块化和智能体化架构[591, 312, 965, 311]；模仿人类认知能力以实现持久信息保留的显式内存系统[1182, 935, 1362]；以及整个智能智能体系统生态系统。后一类代表了上下文工程的巅峰，其中智能体利用函数调用和工具集成推理与世界交互[931, 858, 663]，并依靠复杂的智能体通信协议和上下文编排在多智能体配置中实现复杂目标[356, 246, 894, 128]。
虽然这些领域中的每一个都产生了大量创新，但它们主要是孤立研究的。这种分散的发展掩盖了技术之间的基本联系，并为寻求理解更广泛领域的研究人员和旨在有效利用这些方法的从业者创造了重大障碍。该领域迫切需要一个统一的框架，系统地组织这些多样化的技术，阐明其基本原则，并阐明其相互依赖关系。
为了弥补这一关键差距，本综述首次全面系统地回顾了LLMs的上下文工程。我们的主要贡献是一种新颖的、结构化的分类法，对用于设计、管理和优化上下文的多方面技术进行分类。这种分类法将该领域组织成连贯的类别，区分基础组件和它们集成到复杂系统实现中的情况。通过这个框架，我们：（1）提供每个领域最先进技术的清晰结构化概述；（2）分析不同方法的核心机制、优势和局限性；（3）识别总体挑战并规划未来研究的有前景的方向。这项工作既是导航上下文工程复杂领域的技术路线图，也是促进更深入理解和催化未来创新的基础。
本文的其余部分组织如下。在讨论相关工作并正式定义上下文工程之后，我们首先考察该领域的基础组件，包括上下文检索与生成、上下文处理和上下文管理。然后，我们探讨它们的系统实现，包括检索增强生成、内存系统、工具集成推理和多智能体系统。最后，我们讨论评估方法、未来研究方向，并总结综述。图1提供了我们分类法的全面概述，说明了技术的层次组织及其在上下文工程领域内的关系。
2. 相关工作
LLMs的快速成熟催生了大量旨在描绘其多方面领域的综述文献。现有的工作虽然有价值，但主要集中在我们定义为上下文工程的更广泛领域内的特定垂直领域。我们的综述旨在通过提供一个水平的、统一的分类法来补充这些努力，该分类法区分基础组件和它们集成到复杂系统中的情况，从而弥合这些专门领域。
基础组件 许多综述已经讨论了构成有效上下文操作核心技术能力的上下文工程基础组件。上下文检索与生成的挑战包括提示工程方法和外部知识获取技术。关于提示工程的综述已经分类了用于指导LLM行为的大量技术，从基本的少样本方法到先进的结构化推理框架[25, 253, 1313]。外部知识检索和集成技术，特别是通过知识图谱和结构化数据源，在综述表示技术、集成范例以及在增强LLMs事实基础方面的应用的工作中得到了回顾[483, 428, 817, 889]。
例如，思维链[1138]、零样本CoT[553]、ToT[1246]、GoT[69]、自一致性[1114]、ReAct[1245]、Auto-CoT[1099]、自动提示[307]、CLEAR框架[702]、RAG[591]、认知提示[558]、KAPING[48]、动态组装[307]等。
3. 为什么需要上下文工程？
随着大型语言模型（LLMs）从简单的指令遵循系统演变为复杂、多方面应用的核心推理引擎，与它们交互的方法也必须演进。“提示工程”一词虽然基础，但已不足以涵盖现代AI系统所需的信息 payload 的设计、管理和优化的全部范围。这些系统不是在单一的静态文本字符串上操作；它们利用动态、结构化和多方面的信息流。为了应对这一点，我们引入并形式化了上下文工程学科。
3.1. 上下文工程的定义
为了正式定义上下文工程，我们从自回归LLM的标准概率模型开始。由θ参数化的模型通过最大化条件概率，在给定输入上下文C的情况下生成输出序列：
历史上，在提示工程的范式中，上下文C被视为一个整体的、静态的文本字符串，即C=prompt。这种观点对于现代系统来说是不够的。
上下文工程将上下文C重新概念化为动态结构化的信息组件集。这些组件由一组函数源、过滤和格式化，最后由高级组装函数A编排：
组件不是任意的；它们直接映射到本综述的核心技术领域：
• ：系统指令和规则（上下文检索与生成，第4.1节）。
• ：外部知识，通过RAG等函数检索或从集成的知识图谱中获取（RAG，第5.1节；上下文处理，第4.2节）。
• ：可用外部工具的定义和签名（函数调用与工具集成推理，第5.3节）。
• ：来自先前交互的持久信息（内存系统，第5.2节；上下文管理，第4.3节）。
• ：用户、世界或多智能体系统的动态状态（多智能体系统与编排，第5.4节）。
• ：用户的即时请求。
上下文工程的优化问题。从这个角度来看，上下文工程是找到理想的上下文生成函数集（我们统称为）的正式优化问题，以最大化LLM输出的预期质量。给定任务τ的分布，目标是：
其中T是特定的任务实例，是由F中的函数为该任务生成的上下文，是真实或理想输出。这种优化受到硬约束的限制，最显著的是模型的上下文长度限制，
数学原理和理论框架。这种形式化揭示了更深层次的数学原理。组装函数A是动态上下文编排的一种形式，是格式化和连接操作的管道，，其中每个函数必须针对LLM的架构偏差（例如，注意力模式）进行优化。
知识的检索，，可以被构建为信息论最优性问题。目标是选择在给定查询的情况下，与目标答案的互信息最大化的知识：
这确保检索到的上下文不仅语义相似，而且对解决任务具有最大的信息量。
此外，整个过程可以通过贝叶斯上下文推理的镜头来看待。我们不是确定性地构建上下文，而是推断最优上下文后验，History，World)。使用贝叶斯定理，这个后验与给定上下文的查询的似然性和上下文相关性的先验概率成正比：
然后，决策论目标是找到在可能答案的分布上最大化预期奖励的上下文：
这种贝叶斯公式提供了一种原则性的方法来处理不确定性，通过更新先验来执行自适应检索，并在多步推理任务中维持关于上下文的信念状态。
表1：提示工程和上下文工程范式的比较。
总之，上下文工程提供了构建、理解和优化复杂的、上下文感知的AI系统所需的正式、系统的框架，这些系统正在定义该领域的未来。它将重点从提示设计的“艺术”转向信息物流和系统优化的“科学”。
上下文缩放 上下文缩放包括两个基本维度，共同定义了上下文信息处理的范围和复杂性。第一个维度，长度缩放，解决了处理超长序列的计算和架构挑战，将上下文窗口从数千个扩展到数百万个标记，同时保持对扩展叙述、文档和交互的连贯理解。这涉及复杂的注意力机制、内存管理技术和架构创新，使模型能够在极大扩展的输入序列上保持上下文连贯性。
第二个同样关键的维度是多模态和结构缩放，它将上下文扩展到简单文本之外，以包含多维、动态、跨模态信息结构。这包括时间上下文（理解时间依赖关系和序列）、空间上下文（解释基于位置和几何关系）、参与者状态（跟踪多个实体及其不断变化的条件）、意图上下文（理解目标、动机和隐含目标）以及文化上下文（在特定社会和文化框架内解释通信）。
现代上下文工程必须同时解决这两个维度，因为现实世界的应用要求模型不仅处理冗长的文本信息，还要处理各种数据类型，包括结构化知识图谱、多模态输入（文本、图像、音频、视频）、时间序列以及人类自然理解的隐含上下文线索。这种多维度的上下文缩放方法代表了从参数缩放向开发能够理解复杂、模糊上下文的系统的根本转变，这些上下文反映了人类智能在面对复杂世界时的微妙本质[1036]。
3.2. 为什么需要上下文工程
3.2.1. 当前局限性
大型语言模型面临着关键的技术障碍，需要复杂的上下文工程方法。自注意力机制随着序列长度的增加带来二次计算和内存开销，为处理扩展上下文创造了巨大障碍，并显著影响了聊天机器人和代码理解模型等现实世界应用[1017, 977]。商业部署通过重复的上下文处理引入了额外的延迟和基于标记的定价成本，加剧了这些挑战[1017]。
除了计算约束外，LLMs表现出令人担忧的可靠性问题，包括频繁的幻觉、对输入上下文的不忠实、对输入变化的敏感性问题，以及看似语法正确但缺乏语义深度或连贯性的响应[951, 1279, 523]。
提示工程过程通过基于近似和主观的方法带来了方法学挑战，这些方法狭隘地关注特定任务的优化，而忽视了个体LLM行为[800]。尽管存在这些挑战，通过精确和上下文丰富的提示减少歧义并提高响应一致性，提示工程对于有效利用LLM仍然至关重要[964]。
3.2.2. 性能提升
上下文工程通过检索增强生成和叠加提示等技术提供了显著的性能改进，取得了有记录的改进，包括文本导航准确性的18倍提升、94%的成功率，以及通过精心构建的提示和跨专业领域的自动优化获得的显著收益[267, 768, 681]。
结构化提示技术，特别是思维链方法，通过中间步骤实现复杂推理，同时增强元素感知的摘要能力，整合源文档中的细粒度细节[1138, 750, 1120]。通过精心选择的演示示例实现的少样本学习在代码摘要的BLEU-4分数上实现了9.90%的改进，在错误修复的精确匹配指标上实现了175.96%的改进[306]。
特定领域的上下文工程在专门应用中特别有价值，执行感知调试框架在代码生成基准上实现了高达9.8%的性能改进，硬件设计应用从专门的测试台生成和安全属性验证中受益[1360, 873, 44]。这些有针对性的方法弥合了通用模型训练与专门领域要求之间的差距。
3.2.3. 资源优化
上下文工程通过智能内容过滤和通过精心设计的提示直接传输知识，提供了资源密集型传统方法的高效替代方案[630, 670]。即使相关信息从输入上下文中删除，LLMs也可以生成预期的响应，利用上下文线索和先验知识优化上下文长度使用，同时保持响应质量，这在数据获取挑战显著的领域特别有价值[630, 670]。
专门的优化技术通过显著减少标记消耗的上下文感知和责任调整、采用精确标记级内容选择的动态上下文优化以及用于长上下文推理的注意力引导机制，进一步增强了效率收益[426, 944, 350]。这些方法在减少处理开销和保持性能质量的同时最大化信息密度[944, 350]。
3.2.4. 未来潜力
上下文工程通过上下文学习实现灵活的适应机制，允许模型适应新任务而无需显式再训练，上下文窗口大小直接影响任务适应可用的示例[617]。先进技术集成压缩和选择机制，以高效编辑模型，同时保持上下文连贯性[619]。这种适应性在低资源场景中特别有价值，能够有效利用各种提示工程技术，包括零样本方法、少样本示例和角色上下文，而无需特定领域的微调[924, 129, 1075]。
复杂的上下文工程技术，包括上下文学习、思维链、思维树和规划方法，为精细的语言理解和生成能力奠定了基础，同时优化检索和生成过程，用于稳健的、上下文感知的AI应用[797, 974]。
未来的研究方向表明，通过思维链增强与对数几率对比机制[953]、跨领域更好地利用不同上下文类型（特别是在结合语法、语义、执行流程和文档的代码智能任务中）[1094]，以及随着先进语言模型继续展示提示工程的持久价值，理解最佳上下文利用策略，上下文敏感应用有很大的进步潜力[1079]。向复杂过滤和选择机制的演进代表了应对Transformer架构的缩放限制同时保持性能质量的关键途径。
4. 基础组件
上下文工程建立在三个基本组件之上，这些组件共同解决了大型语言模型中信息管理的核心挑战：上下文检索与生成通过提示工程、外部知识检索和动态上下文组装来获取适当的上下文信息；上下文处理通过长序列处理、自我优化机制和结构化数据集成来转换和优化获取的信息；上下文管理通过解决基本约束、实施复杂的内存层次结构和开发压缩技术来高效组织和利用上下文信息。这些基础组件建立了所有上下文工程实现的理论和实践基础，形成了一个全面的框架，其中每个组件解决上下文工程流程的不同方面，同时保持协同关系，实现全面的上下文优化和有效的上下文工程策略。
4.1. 上下文检索与生成
上下文检索与生成构成了上下文工程的基础层，包括通过提示工程、外部知识检索和动态上下文组装系统检索和构建LLMs的相关信息。该组件通过三种主要机制解决获取适当上下文信息的关键挑战：基于提示的生成，构建有效的指令和推理框架；外部知识检索，访问动态信息源；动态上下文组装，将获取的组件编排成连贯的、任务优化的上下文。
4.1.1. 提示工程与上下文生成
提示工程和上下文生成构成了上下文检索的基础层，包括结合艺术和科学的战略输入设计，为LLMs精心设计有效指令。CLEAR框架——简洁性、逻辑性、明确性、适应性和反思性——指导有效的提示构建，而核心架构整合任务指令、上下文信息、输入数据和输出指标[702, 1133, 569, 209, 25]。
零样本和少样本学习范式 零样本提示使模型能够在没有先前示例的情况下执行任务，完全依赖于指令清晰度和预训练知识[1361, 336, 553, 67, 1046]。少样本提示通过纳入有限的示例来扩展这种能力，通过战略性示例选择展示任务执行[1361, 401, 103, 546, 788, 1371]。上下文学习通过在提示中利用演示示例，使模型能够适应新任务而无需参数更新，性能受示例选择和排序策略的显著影响[365, 103, 1287, 1016, 920, 846, 1139, 348, 576]。
思维链基础 思维链（CoT）提示将复杂问题分解为中间推理步骤，模仿人类认知[1138, 401, 336, 939, 603]。零样本CoT使用“让我们一步一步思考”等触发短语，将MultiArith准确率从17.7%提高到78.7%[553, 1099, 472, 662]，自动提示工程师改进带来了额外收益[1215, 526]。
思维树（ToT）将推理组织为具有探索、前瞻和回溯能力的层次结构，将24点游戏的成功率从4%提高到74%[1246, 217, 557, 598]。思维图（GoT）将推理建模为任意图，其中思想作为顶点，依赖关系作为边，与ToT相比质量提高62%，成本降低31%[69, 826, 1366]。
认知架构集成 认知提示实施结构化的类人操作，包括目标澄清、分解、过滤、抽象和模式识别，通过确定性、自适应和混合变体实现系统的多步骤任务解决[558, 557, 1205, 1164]。吉尔福德的智力结构模型为分类认知操作（如模式识别、记忆检索和评估）提供了心理学基础，增强推理的清晰度、连贯性和适应性[556, 191]。先进的实现将认知工具作为模块化推理操作，通过结构化认知操作序列，GPT-4.1在AIME2024上的性能从26.7%提高到43.3%[243, 1030]。
表2：大型语言模型中的自我优化方法及其关键特征。
4.1.2. 外部知识检索
外部知识检索代表了上下文检索的关键组成部分，通过动态访问外部信息源（包括数据库、知识图谱和文档集合）解决参数知识的基本局限性。
检索增强生成基础 RAG将存储在模型参数中的参数知识与从外部源检索的非参数信息相结合，能够访问当前的、特定领域的知识，同时保持参数效率[591, 311, 253]。FlashRAG提供RAG系统的全面评估和模块化实现，而KRAGEN和ComposeRAG等框架展示了在各种基准上具有显著性能改进的先进检索策略[500, 749, 1159]。
Self-RAG引入自适应检索机制，其中模型动态决定何时检索信息并生成特殊标记以控制检索时机和质量评估[41]。先进的实现包括用于分层文档处理的RAPTOR、用于受内存启发的检索架构的HippoRAG，以及利用结构化知识表示改进信息访问的图增强RAG系统[928, 366, 360]。
知识图谱集成和结构化检索 知识图谱集成通过KAPING等框架解决结构化信息检索，该框架基于语义相似性检索相关事实，并将其前置到提示中，无需模型训练[48, 673]。KARPA通过预规划、语义匹配和关系路径推理提供无需训练的知识图谱适应，在知识图谱问答任务上实现最先进的性能[258]。
Think-on-Graph能够对知识图谱进行顺序推理以定位相关三元组，进行探索以从外部数据库检索相关信息，同时生成多个推理路径[1000, 720]。StructGPT实施迭代的先阅读后推理方法，构建专门的函数从结构化数据源收集相关证据[489]。
智能体化和模块化检索系统 智能体化RAG系统将检索视为动态操作，其中智能体作为智能调查员分析内容并交叉引用信息[648, 162, 965]。这些系统集成了复杂的规划和反思机制，需要任务分解、多计划选择和迭代优化能力的集成[438, 1183]。
模块化RAG架构通过标准化接口和即插即用设计支持检索组件的灵活组合。图增强RAG系统利用结构化知识表示改进信息访问，而实时RAG实现解决流应用中的动态信息需求[312, 1391]。
4.1.3. 动态上下文组装
动态上下文组装代表将获取的信息组件精心编排为连贯的、任务优化的上下文，以最大化语言模型性能，同时尊重计算约束。
组装函数和编排机制 组装函数A包括基于模板的格式化、基于优先级的选择和自适应组合策略，这些策略必须适应不同的任务要求、模型能力和资源约束[702, 1133, 569]。当代编排机制管理多智能体系统中的智能体选择、上下文分配和交互流程控制，通过用户输入处理、上下文分配和基于能力评估的最佳智能体选择实现有效协作[894, 53, 171]。
先进的编排框架集成意图识别、上下文内存维护和任务调度组件，用于跨特定领域智能体的智能协调。Swarm Agent框架利用实时输出来指导工具调用，同时解决静态工具注册表和定制通信框架的局限性[808, 263, 246]。
多组件集成策略 上下文组装必须解决跨模态集成挑战，整合多种数据类型，包括文本、结构化知识、时间序列和外部工具接口，同时保持连贯的语义关系[529, 1221, 496]。 verbalization技术将结构化数据（包括知识图谱三元组、表行和数据库记录）转换为自然语言句子，无需架构修改即可与现有语言系统无缝集成[12, 782, 1064, 13]。
结构化数据的编程语言表示，特别是知识图谱的Python实现和数据库的SQL，通过利用固有的结构特性，在复杂推理任务中优于传统的自然语言表示[1166]。多级结构化方法根据语言关系将输入文本重新组织为分层结构，而结构化数据表示利用现有LLMs提取结构化信息并将关键元素表示为图、表或关系模式[681, 1125, 1324]。
自动组装优化 自动提示工程通过系统的提示生成和优化算法解决手动优化限制。自动提示工程师（APE）采用搜索算法进行最佳提示发现，而LM-BFF引入结合基于提示的微调与动态演示整合的自动管道，在NLP任务上实现高达30%的绝对改进[307, 417, 590]。Promptbreeder实施自引用进化系统，其中LLMs通过自然选择类比改进任务提示和管理这些改进的突变提示[275, 508]。
Self-refine通过多轮自我批判和修订实现输出的迭代改进，GPT-4通过这种方法实现约20%的绝对性能提升[735, 670]。多智能体协作框架模拟专业团队动态，智能体承担不同角色（分析师、编码员、测试员），与单智能体方法相比，在Pass@1指标上实现29.9-47.1%的相对改进[434, 1257]。
工具集成框架将思维链推理与外部工具执行相结合，自动生成中间推理步骤作为可执行程序，战略性地整合外部数据。LangChain为顺序处理链、智能体开发和网页浏览能力提供全面的框架支持，而Auto-GPT和微软的AutoGen等专门框架通过用户友好的界面促进复杂AI智能体开发[963, 1087, 25, 867]。
4.2. 上下文处理
上下文处理专注于转换和优化获取的上下文信息，以最大限度地提高其对LLMs的效用。该组件解决处理超长序列上下文的挑战，启用迭代自我优化和适应机制，并促进多模态、关系型和结构化信息集成到连贯的上下文表示中。
4.2.1. 长上下文处理
超长序列上下文处理解决了Transformer自注意力的复杂性带来的基本计算挑战，随着序列长度增加，这会造成显著瓶颈，并严重影响聊天机器人和代码理解模型等现实世界应用[1059, 731, 295, 268, 416]。将Mistral-7B输入从4K增加到128K标记需要122倍的计算量，而预填充和解码阶段的内存约束造成大量资源需求，Llama 3.1 8B每128K标记请求需要高达16GB内存[1032, 1227, 425]。
长上下文的架构创新 状态空间模型（SSMs）通过固定大小的隐藏状态保持线性计算复杂性和恒定内存需求，Mamba等模型提供比传统Transformer更有效的递归计算机制，具有更好的扩展性能[1258, 347, 346]。LongNet等扩张注意力方法随着标记距离的增长采用指数扩展的注意力场，实现线性计算复杂性，同时保持标记之间的对数依赖性，能够处理超过10亿个标记的序列[216]。
Toeplitz神经网络（TNNs）使用相对位置编码的Toeplitz矩阵建模序列，将时空复杂性降低到对数线性，并能够从512个训练标记外推到14,000个推理标记[868, 869]。线性注意力机制通过将自注意力表示为核特征映射的线性点积，将复杂性从降低到O(N)，在处理极长序列时实现高达4000倍的加速[522]。非注意力LLMs等替代方法通过采用递归内存Transformer和其他架构创新打破二次障碍[547]。
位置插值和上下文扩展 位置插值技术通过智能重新缩放位置索引而不是外推到未见过的位置，使模型能够处理超出原始上下文窗口限制的序列[150]。神经正切核（NTK）方法为上下文扩展提供数学基础框架，YaRN结合NTK插值与线性插值和注意力分布校正[833, 471, 1021]。
LongRoPE通过两阶段方法实现2048K标记上下文窗口：首先将模型微调至256K长度，然后进行位置插值以达到最大上下文长度[218]。位置序列调优（PoSE）通过结合多种位置插值策略，展示了令人印象深刻的序列长度扩展，可达128K标记[1377]。Self-Extend技术使LLMs能够在不微调的情况下处理长上下文，通过采用双层注意力策略——分组注意力和邻居注意力——捕获远距离和相邻标记之间的依赖关系[499]。
高效处理的优化技术 分组查询注意力（GQA）将查询头分组为共享键和值头的组，在多查询注意力和多头注意力之间取得平衡，同时减少解码期间的内存需求[16, 1341]。FlashAttention利用非对称GPU内存层次结构实现线性内存缩放而非二次需求，FlashAttention-2通过减少非矩阵乘法操作和优化工作分配提供约两倍的速度[196, 195]。
带块式Transformer的环形注意力通过在多个设备上分布计算，利用块式计算，同时将通信与注意力计算重叠，能够处理极长序列[676]。稀疏注意力技术包括LongLoRA中的移位稀疏注意力（-Attn）和带SF-Attn的SinkLoRA，它们实现了92%的全注意力困惑度改进，同时节省大量计算[1304, 1217]。
高效选择性注意力（ESA）通过将查询和键向量压缩到低维表示中，提出标记级关键信息选择，能够处理长达256K标记的序列[1084]。BigBird结合局部注意力与关注整个序列的全局标记，以及随机连接，能够有效处理比以前长8倍的序列[1285]。
内存管理和上下文压缩 内存管理策略包括滚动缓冲区缓存技术，该技术保持固定的注意力跨度，在32K标记序列上减少约8倍的缓存内存使用[1341]。StreamingLLM能够在不微调的情况下处理无限长序列，通过保留关键的“注意力汇”标记以及最近的KV缓存条目，在长达400万个标记的序列上展示出高达22.2倍的加速，超过滑动窗口重新计算[1176]。
Infini-attention将压缩内存集成到普通注意力中，在单个Transformer块中结合掩码局部注意力和长期线性注意力，能够处理具有有限内存和计算的无限长输入[792]。重击者Oracle（）基于观察到小部分标记贡献大部分注意力值，提出高效的KV缓存淘汰策略，将吞吐量提高高达29倍，同时将延迟降低高达1.9倍[1333]。
QwenLong-CPRS等上下文压缩技术实施动态上下文优化机制，支持通过自然语言指令引导的多粒度压缩[944]。InfLLM将远距离上下文存储在额外的内存单元中，并采用高效机制检索与标记相关的单元进行注意力计算，允许在几千个标记序列上预训练的模型有效处理高达1,024K标记的序列[1175]。
4.2.2. 上下文自我优化与适应
自我优化使LLMs能够通过周期性反馈机制改进输出，这些机制模仿人类修订过程，通过对话式自我交互利用自我评估，这与强化学习方法不同[735, 916, 25, 1211]。
基础自我优化框架 Self-Refine框架使用同一模型作为生成器、反馈提供者和优化器，表明识别和修复错误通常比生成完美的初始解决方案更容易[735, 1313, 227]。Reflexion通过语言反馈在情景记忆缓冲区中维护反思文本，用于未来决策[956]，而结构化指导被证明是必不可少的，因为简单的提示通常无法实现可靠的自我纠正[672, 587]。
多方面反馈集成冻结的语言模型和专注于特定错误类别的外部工具，以实现更全面、独立的评估[799]。N-CRITICS框架实施基于集成的评估，其中初始输出由生成LLM和其他模型评估，编译的反馈指导优化，直到满足特定任务的停止标准[789]。
A2R框架在多个维度（包括正确性和引用质量）上采用显式评估，为每个方面制定自然语言反馈，并迭代优化输出[577]。ISR-LLM通过将自然语言转换为形式规范、创建初始计划，然后使用验证器系统地优化它来改进基于LLM的规划[1373]。
元学习和自主进化 SELF通过有限的示例教授LLMs元技能（自我反馈、自我优化），然后让模型通过生成和过滤自己的训练数据不断自我进化[704]。自我奖励机制使模型能够通过迭代自我判断自主改进，其中单个模型承担执行者和评判者的双重角色，最大化其给自己的奖励[1163, 1278]。
Creator框架通过包括创建、决策、执行和识别的四模块过程，进一步扩展了这一范式，使LLMs能够创建和使用自己的工具[946, 856]。自我发展框架代表了最自主的方法，使LLMs能够通过生成作为可执行代码的算法候选的迭代周期发现、实施和优化自己的改进算法[466]。
上下文学习本质上代表了一种元学习形式，其中模型在预训练期间学习跨各种任务泛化的优化策略，在推理期间能够快速适应新挑战[179, 1165]。元上下文学习表明，上下文学习能力本身可以通过上下文学习递归改进，自适应重塑模型对预期任务的先验，并修改上下文学习策略[177]。
内存增强适应框架 内存增强通过Memory of Amortized Contexts等框架代表了实现元学习的强大方法，该框架使用特征提取和内存增强将新文档的信息压缩到存储在内存库中的紧凑调制中[1011]。基于上下文的元学习损失缩放通过元训练小型自回归模型在在线微调期间动态重新加权每个标记的语言建模损失，解决了过时知识挑战[430]。
决策预训练Transformer展示了Transformer如何被训练执行上下文强化学习，通过泛化超出预训练分布解决以前未见过的RL问题[1013, 582]。基于上下文的元强化学习方法通过直接监督上下文编码器提高性能，与端到端训练方法相比提高了样本效率[1072]。
长思维链和高级推理 长思维链作为一种重要的演进，其特点是显著更长的推理轨迹，能够彻底探索问题，在OpenAI-o1、DeepSeek-R1、QwQ和Gemini 2.0 Flash Thinking等先进模型中实现[147, 718, 1214]。长CoT的有效性似乎与上下文窗口容量相关，实证证据表明更大的上下文窗口通常会带来更强的推理性能[1229]。
扩展推理启用自我反思和纠错机制，允许模型在解决问题过程中识别和纠正错误[1334]。增加推理步骤长度的有效性，即使不添加新信息，也通过测试时缩放显著增强了多个数据集的推理能力[1345]。
优化策略通过通过最佳N采样生成更短的自我生成推理路径、包括ZeroThinking和Less-Thinking方法的自适应推理模式，以及减少标记使用同时保持推理质量的显式紧凑CoT方法，解决冗长推理轨迹带来的计算低效问题[791, 1348, 697]。自动长-短推理能够根据问题复杂性动态调整推理路径长度，帮助模型决定何时需要更长的链[715]。
4.2.3. 多模态上下文
多模态大型语言模型（MLLMs）通过将视觉、音频和3D环境等多种数据模态集成到统一的上下文表示中，将上下文工程扩展到文本之外。这种扩展在模态融合、跨模态推理和长上下文处理方面引入了新的挑战，同时启用了利用丰富的多模态上下文理解的复杂应用。
多模态上下文集成
基础技术 多模态MLLMs在传统LLMs的基础上扩展，通过整合视觉、音频和3D环境等多种模态的数据[105, 49, 957]。一种主要的集成方法将视觉输入转换为离散标记，与文本标记连接，调节LLM的生成过程，使其基于组合表示[1286]。这通常通过视觉提示生成器（VPGs）实现，这些生成器在图像-标题对上训练，将视觉特征映射到LLM的嵌入空间[607]。主导的架构范式将专门的外部多模态编码器（如用于视觉的CLIP或用于音频的CLAP）连接到LLM主干，通过Q-Former或简单的MLP等对齐模块[19, 86, 609, 1130]，这种模块化设计允许独立更新编码器而无需重新训练整个模型[618]。
高级集成策略 更复杂的方法实现更深层次的模态融合。跨模态注意力机制直接在LLM的嵌入空间内学习文本和视觉标记之间的细粒度依赖关系，增强图像编辑等任务的语义理解[564, 901, 102]。为了处理冗长输入，分层设计分阶段处理模态，确保可扩展性[155]，而“浏览和集中”范式在LLM摄入之前融合多个图像的上下文，克服孤立处理的局限性[1134]。一些研究绕过文本仅LLMs的适应，选择从一开始就在多模态数据和文本语料库上联合预训练模型的统一训练范式，以减轻对齐挑战[1381, 1224]。其他方法利用文本作为通用语义空间，使用LLM上下文学习提高跨不同模态组合的泛化能力[1050]。对于视频，上下文集成技术从提示调优到基于适配器的方法不等，这些方法将视频内容转换为推理序列[1080]。这些模型的开发通常受到对大量高质量多模态数据和大量计算资源的需求的限制[1295, 609, 211]。
多模态上下文处理的核心挑战
模态偏差和推理缺陷 MLLM开发中的一个主要障碍是模态偏差，模型偏爱文本输入，通过依赖学到的语言模式而非集成的视觉或听觉信息生成看似合理但多模态不接地的响应[1358, 24, 315, 1325]。这种问题因训练方法而加剧；例如，在简单图像-标题任务上训练的VPGs仅学习提取标题的显著特征，忽略更复杂、基于指令的任务至关重要的其他视觉细节，从根本上限制了深层多模态理解[607, 504]。因此，MLLMs经常在细粒度空间或时间推理方面遇到困难，例如精确的对象定位或理解视频中的详细事件序列[1031, 957]，特别是在社交媒体等复杂领域，解释文本和图像的相互作用以理解错误信息或讽刺是困难的[505]。有效的多模态推理不仅需要理解每种模态，还需要推断它们组合的整体含义[385]。加剧这些问题的是我们对MLLMs内部工作机制的有限机械理解；它们的内部运作在很大程度上是一个黑箱，阻碍了更好架构的开发[1274]。
高级上下文能力和未来方向
上下文学习和长上下文学习 MLLMs的一个关键能力是上下文学习，模型无需权重更新，即可从提示中的多模态示例适应新任务[1397, 1398, 551]。链接上下文学习（LCL）通过提供具有显式因果链接的演示来增强这一点，提高泛化能力[1012]。然而，上下文学习受到固定上下文窗口的限制，因为图像标记消耗大量空间，限制了少样本学习[437]。性能还对输入顺序敏感，并且每种模态的相对重要性因任务而异[1020, 1197]。处理长多模态上下文（对视频分析等应用至关重要）仍然是一个主要研究前沿[1086]。创新包括用于视频的自适应分层标记压缩[1119]、可变视觉位置编码（V2PE）[1381]、用于会话记忆的专用模块（如ContextQFormer）[589]，以及用于视频的动态、查询感知帧选择[581]。MLLMs在扩展交互中也显示出新兴的通信效率，这一现象仍在研究中[436]。
新兴应用 处理丰富的多模态上下文的能力正在解锁新的应用。MLLMs用于预测推理，例如从视觉场景预测人类活动[1382]，并在各种多模态基准上展示了令人印象深刻的感知和认知能力[290]。在VQA中，上下文被用于更精确的答案，例如通过提示MLLM生成自己的图像描述文本上下文[1346]或通过RAG集成外部知识[993, 105]。其他应用包括基于感官输入规划数字行动[605]、通过内存增强的上下文理解增强手术决策支持[418]，以及通过整合视觉信息与语音和音频线索实现细致的视频理解[642, 1193, 7]。研究人员还将MLLMs扩展到新兴模态，如触觉信息、事件数据和图结构[1358, 1023, 1213]。这些现实世界用例的重要性日益增加，催生了综合评估框架来评估上下文理解[1109]。这些进步使以前文本仅模型不可能的应用成为可能，例如图像标题生成和复杂的多模态推理[1173, 677, 139]。
参考资料
• 标题：Context Engineering for Large Language Models: A Survey
• 作者：Lingrui Mei, Jiayu Yao, Yuyao Ge, Yiwei Wang, Baolong Bi, Yujun Cai, Jiazhi Liu, Mingyu Li, Zhong-Zhi Li, Duzhen Zhang, Chenlin Zhou, Jiayi Mao, Tianze Xia, Jiafeng Guo, Shenghua Liu
• 单位：中国科学院计算技术研究所、加州大学默塞德分校、昆士兰大学、北京大学、清华大学、中国科学院大学等
• 标签：大型语言模型（LLMs）、上下文工程、检索增强生成（RAG）、智能体、多智能体系统、内存系统、工具集成推理、长上下文处理
• 概述：本文全面系统地综述了大型语言模型的上下文工程，提出了涵盖基础组件与系统实现的分类法，分析了1400多篇研究论文，指出了模型能力的不对称性并规划了未来研究方向。
• 链接：https://arxiv.org/pdf/2507.13334
