引言
大型语言模型在上下文学习中是如何以及为什么表现不同？本文将用通俗的语言探讨“上下文学习”（ICL）的概念，介绍关于不同规模模型在上下文学习行为方面的最新发现，并深入探讨如何利用不同大型语言模型的ICL行为。如果你感兴趣，请继续阅读！
什么是“上下文学习”？
上下文学习 是大型语言模型发展过程中涌现的一项令人兴奋的能力。它指的是模型仅基于输入上下文中提供的简短任务示例，就能在新颖且未见过的任务上表现出色的能力。这是一项了不起的成就——模型无需更新或微调其底层参数，就能适应并将知识应用于新情境。
上下文学习的关键在于，模型利用输入提示中给出的上下文信息来指导其响应，而不是仅仅依赖其预先存在的知识或训练。例如，如果你向一个语言模型提供几个求解线性方程的例子，它就能利用该上下文解决一个从未见过的新线性方程。模型能够推断出潜在的模式，并将其应用于新问题，而无需专门针对该类方程进行训练。
“上下文学习”有哪些好处？
多功能性与适应性
- ICL使大型语言模型无需大量重新训练即可应用于广泛的任务和领域。
- 这使模型能够通过ICL不断学习新技能，扩展能力。
样本效率
- ICL学习新任务只需少量示例，相比传统监督学习降低了数据需求。
- 当标注数据稀缺或获取成本高昂时，这一特性尤具价值。
计算效率
- ICL可通过单次前向传播完成，无需参数更新。
- 这种计算效率对实时应用和资源受限的部署场景至关重要。
涌现能力
- 大型语言模型通常能通过ICL在未见任务上表现出色，甚至超过针对这些任务显式训练的模型。
- 这表明模型能有效利用上下文信息解决新问题。
对模型行为的理解
- 理解ICL能为大型语言模型如何表示和利用知识提供宝贵见解。
- 这有助于开发更稳健、更可靠的人工智能系统。
一项重大发现：大型语言模型在上下文学习中的差异
论文《Larger Language Models Do In-context Learning Differently》（Jerry Wei, Jason Wei, Yi Tay 等）探讨了ICL是否更依赖于预训练中的语义先验，还是更依赖于从示例中学习输入-标签映射。
如果你对研究细节不感兴趣，只需记住结论：语言模型越大，对语义先验的依赖越少，越能从输入上下文中学习。 然后可跳至下一节。
深入细节
背景
- 语言模型可通过上下文学习执行多种下游任务——在提示中给出少量示例。
- 关于ICL更依赖于预训练中的语义先验还是从示例中学习输入-标签映射，存在争论。
理论设置
作者研究了两种设置，以探究语义先验与输入-标签映射之间的相互作用：
- 翻转标签 ICL：示例中的标签被翻转，迫使模型覆盖语义先验。
- 语义无关标签 ICL（SUL-ICL）：标签与任务在语义上无关，消除了语义先验。
实验设计
- 在5个模型家族（GPT-3、InstructGPT、Codex、PaLM、Flan-PaLM）的7个NLP任务上进行了实验，模型大小各异。
- 评估了常规ICL、翻转标签ICL和SUL-ICL设置下的性能。
主要发现
- 翻转标签 ICL：小模型无法覆盖语义先验，但大模型能学习遵循翻转的示例标签。
- SUL-ICL：小模型更依赖语义先验，而大模型能在没有语义先验的情况下学习输入-标签映射。
- 覆盖语义先验和学习输入-标签映射的能力随模型规模涌现。
- 指令调优更增强了对语义先验的使用，而非学习输入-标签映射的能力。
为什么大型语言模型在上下文学习中表现不同？
另一篇论文《Why Do Larger Language Models Do In-context Learning Differently?》（Zhenmei Shi, Junyi Wei, Zhuoyan Xu, Yingyu Liang）讨论了大型和小型LLM在ICL表现上存在差异的原因。我们提供两个版本：通俗版和专业版。请选择适合你的版本。
我喜欢通俗版
这篇论文解释了大小语言模型ICL行为差异背后的“原因”：
关键原因与模型在ICL过程中如何在不同特征间分配注意力有关。
较小的模型倾向于聚焦于任务相关的重要信息特征。它们强调这些关键特征，因此对输入上下文中的噪声或无关信息更具鲁棒性。
相比之下，大型语言模型有能力关注更广泛的特征，包括那些不太重要甚至带噪声的特征。虽然这使它们能捕获更多信息，但也使它们更容易被输入上下文中无关或噪声方面分散注意力。
本质上，大型模型覆盖了更广泛的特征（相关和无关），而小型模型优先考虑最显著的特征。这种 注意力分配上的差异 导致了小型模型在ICL中比大型模型更鲁棒。
我想深入细节
研究背景
该论文探讨了为什么大型语言模型在上下文学习上表现出与小型模型不同的行为。ICL是LLM的一项重要涌现能力——基于少量任务示例无需更新参数就能在未见任务上表现出色。近期研究观察到，大型LLM往往对测试上下文中的噪声更敏感，表现不如小型模型。
理论设置
为理解这一现象，论文分析了两种简化设置：
- 单层单头线性Transformer下的线性回归
- 双层多头注意力头的奇偶分类
目标是为注意力机制和模型规模如何影响ICL行为提供理论见解。
对于这两种设置，作者给出了闭式最优解，并刻画了大小模型在注意力机制上的差异。
实验设计
作者使用Llama模型家族的不同规模，在五个常见NLP任务上进行了ICL实验。实验结果用于验证理论分析。
主要发现
- 小型模型强调重要的隐藏特征，而大型模型覆盖更多特征，包括不太重要或带噪声的特征。
- 小型模型在评估过程中对标签噪声和输入噪声更具鲁棒性，而大型模型更容易被此类噪声干扰，导致ICL性能下降。
- 理论分析和实验结果为注意力机制和模型规模如何影响ICL行为提供了洞见，揭示了LLM的内部运作方式。
利用不同LLM的ICL行为
认识到这些细微差异对于根据数据特征和任务需求选择合适的模型至关重要。从前两篇论文中我们了解到：小模型对噪声输入更鲁棒，因为它们聚焦于关键特征，不易被无关信息分散注意力；而大模型则擅长需要全面理解多样特征的任务，利用其更广泛的上下文知识。
因此，为了充分利用不同LLM的ICL行为，Novita AI 为AI初创开发者提供了经济高效、自动扩展的LLM API，并包含多种LLM模型选项。
只需几行代码，即可将强大的LLM集成到你的AI产品中。在决定使用我们的API之前，欢迎在 Novita AI Playground 中尝试不同LLM的能力。
结论
上下文学习是大型语言模型基于输入（即上下文）在未见任务上表现出色的能力。
大型语言模型在上下文学习中如何表现不同？ 语言模型越大，对语义先验的依赖越少，越能从输入上下文中学习。
为什么大型语言模型在上下文学习中表现不同？ 这些差异背后的关键原因与模型在ICL过程中如何在不同特征间分配注意力有关。
为了 利用不同语言模型表现出的差异化上下文学习行为，实施一个提供多种LLM模型选择的API可能是有利的。
Novita AI 是一站式无限创意平台，提供100多个API接口。从图像生成、语言处理到音频增强和视频处理，按需付费，价格低廉，让你摆脱GPU维护的烦恼，专注于构建自己的产品。立即免费试用。
