【大模型论文阅读】2503.01821_On the Power of Context-Enhanced Learning in LLMs

我们提出了一种适用于大型语言模型的新概念——上下文增强学习。它在基于梯度的文本学习基础上，通过在上下文中添加额外数据（不对这些数据计算自回归梯度）来增强效果。

这一设定是常规上下文学习（ICL）的基于梯度版本，在近期的一些研究中已有体现。 借助一项多步推理任务，我们在简化场景中证明：当模型具备上下文学习能力时，上下文增强学习的样本效率可能比常规学习高出指数级。从机制层面来看，我们发现上下文增强带来的优势源于更准确的梯度学习信号。我们还通过实验表明，很难检测或恢复训练过程中用于上下文的学习材料。这一点可能对数据安全及版权问题具有重要意义。

1. Introduction

预训练大型语言模型（LLMs）（Brown 等人，2020；Touvron 等人，2023；Team 等人，2023）展现出在推理时学习新内容的强大能力，例如通过上下文学习（ICL）。此外，有新证据表明，若在上下文中加入额外的辅助文本（即便不对这些辅助文本计算自回归损失），基于梯度的文本学习（例如数学问答学习）效果可得到提升（Liao 等人，2024；Zou 等人，2024；Choi 等人，2025）。研究还显示，此类策略对预训练亦有助益——在文档前添加源URL可提高模型的训练效率和记忆能力（Allen-Zhu 与 Li，2024；Gao 等人，2025）。

译者注：预训练的作用存疑

在本文中，我们旨在对这一现象进行正式研究：大型语言模型的基于梯度的学习可通过在上下文中植入额外的辅助材料得到增强，而无需对这些材料进行实际的自回归梯度更新。我们将这种学习形式称为上下文增强学习。由于用于上下文增强的材料可在训练过程中不断演变，因此这种方法自然契合课程学习的理念。

上下文增强学习直观地反映了人类的学习方式：在解决问题时，人们会参考教科书或演示示例以获取指导，但本身并不会刻意去记忆这些资源。一个类似的概念——“利用特权信息学习”（LUPI），已在核支持向量机（SVMs）（Vapnik & Vashist, 2009）和分类模型的研究中得到充分探讨。我们的研究将这一概念适配于大型语言模型，并提出了以下问题：

1. 问题1（Q1）：尽管自回归损失是基于同一组标记计算的，但上下文增强学习是否能显著优于没有额外上下文材料的常规自回归学习？如果能，我们能否从理论上描述并理解这种改进背后的机制？
2. 问题2（Q2）：模型是否需要达到特定的能力水平才能从上下文增强学习中获益？这是一个很自然的问题，因为利用上下文信息（例如上下文学习）可能需要模型具备最低限度的能力水平或模型规模（Brown 等人，2020；Wei 等人，2022）。
3. 问题3（Q3）：上下文增强学习是否是一种在学习过程中使用特权/私有信息的可行方式？在上下文中提供此类特权信息理论上可以增强模型的学习效果，而由于无需对这些特权/私有信息进行自回归梯度更新，通过API调用导致此类信息泄露的风险可能会更低。

论文概述：第2.1节正式定义了上下文增强学习。为了严谨地理解上下文增强学习的效力，第2.2节引入了一项名为“多层翻译”的多步推理任务。这是一个包含$d+1$种语言（$L_1,L_2,\dots ,L_{d+1}$）的合成场景，这些语言均基于有限字母表构建。对于每个$i$，存在一个简单的短语集，用于描述如何从$L_i$翻译到$L_{i+1}$，而从$L_1$到$L_{d+1}$的映射则是这组短语集的依次应用。

目标是学习如何将文本从$L_1$翻译为$L_{d+1}$，且无需明确写出中间步骤。在训练过程中，会向学习者提供这些短语集的摘录作为上下文中的辅助信息，但不会对这些标记进行自回归梯度更新。

如果我们在训练时，以短语集摘录和输入为条件，对翻译输出计算自回归损失，那么具备一定上下文学习（ICL）能力的模型或许能通过利用上下文中的短语集快速掌握翻译任务。然而，这种学习方式可能存在脆弱性，即模型会依赖上下文中的短语集摘录。通过对上下文中的短语集标记采用概率性丢弃（dropout）策略，可逐步减弱这种依赖性。直观而言，这种训练课程会促使模型不仅能读取短语集摘录，还能逐渐内化短语集的内容。久而久之，模型在从$L_1$到$L_{d+1}$的翻译任务中，对短语集摘录的丢弃会变得更具鲁棒性，最终即便完全移除短语集摘录，也能完成翻译。

实验表明，当学习者是具备上下文学习（ICL）能力的预训练大型语言模型时，这种训练策略确实有效（但当大型语言模型不具备上下文学习能力时，该策略则会失效）。即便在训练中采用20%的丢弃率，模型在测试时无需任何短语集摘录，也能完美地将字符串从$L_1$翻译为$L_{d+1}$。本文其余部分的结构如下：

• 第3节详细介绍了我们的实验以及上述概述的研究发现。实验表明，具备上下文学习（ICL）能力的模型会对上下文中提供的短语集进行直观的顺序处理，其中Transformer层以一种符合直觉的方式对应翻译的各个阶段；例如，$L_3\to L_4$ 的翻译是在 $L_2\to L_3$ 之后进行的（见第3.3节）。
• 第4节表明，经过上下文增强学习后，模型的输出概率几乎不会泄露训练过程中所见过的短语集规则信息。
• 在第5节中，我们提出了一个理论框架，该框架采用了一个替代/简化模型，该模型代表了适用于翻译任务的理想大型语言模型（见第5.1节）。这一框架表明，模型在训练时是否使用上下文中的短语集信息，会导致样本复杂度出现指数级差距（见第5.2节和第5.3节）。实验发现，上下文增强学习样本效率提升的背后机制是梯度信号的改善，这可通过梯度预测准确性来衡量（见第5.4节）。

2. Setup

2.1. Context-Enhanced Learning

令$X$为所有可能文本字符串的集合，$Y$为所有可能的文本分布集合。设$g$为一项语言任务，它将输入$x\in X_g\subset X$映射到分布$Y\in Y$。设$f_{\theta }:X\to Y$为一个通用自回归语言模型。我们对$f_{\theta }$在任务$g$上的能力描述如下：

定义2.1（g-能力模型，非正式表述）。若语言模型$f_{\theta }$与任务$g$在$X_g$上通过适当的度量标准衡量时足够接近，则称该语言模型$f_{\theta }$具备完成语言任务$g$的能力（即$g$-能力模型）。

标准监督微调（SFT）旨在通过最小化监督数据集Dg={