涌现能力是指机器学习系统在某些条件下看似不具备或微不足道,却在模型规模、训练、数据或计算量发生变化后变得可观察到的能力。这一说法尤其常见于大语言模型研究:研究人员发现,随着模型规模增大,模型在算术、问答和推理等任务上的表现会大幅提升。2022 年发表的一种颇具影响力的表述将涌现能力定义为:较小模型中不存在、却在较大模型中出现的能力,因此很难通过外推较小模型的表现来预测。
这一术语描述的是一种观察到的现象,而非一种已得到普遍确认的机制。基准测试分数的突然上升,可能反映了模型习得的计算方式确实发生了变化,也可能是评分规则使平滑的进步表现为突变,或是训练、提示与评估之间相互作用的结果。因此,要理解涌现能力,就需要区分模型学到了什么,以及这些学习成果如何显现出来。这一研究主题将预测未来系统能力的实际问题,与泛化(机器学习)、表征、测量以及行为证据的局限性等问题联系起来。
定义与概念边界
在最常见的技术用法中,涌现能力的定义取决于具体任务、模型系列、规模变量和测量程序。例如,声称算术能力发生了“涌现”,却不说明所用的算术题、参与比较的模型、提示方法以及成功标准,这一说法就是不完整的。对同一组模型进行的两种评估,如果一种衡量答案是否完全正确,另一种衡量模型赋予正确答案的概率,就可能呈现出不同的涌现阈值。
Jason Wei 及其同事于 2022 年发表的论文《大语言模型的涌现能力》着重讨论了这样一类能力:在规模较小的模型中,其表现始终接近基线,而在更大规模下则显著提升。基线可以是随机猜测的水平、简单策略的表现,也可以是任务所允许的最低得分。这一操作性定义使涌现成为一个关于观测到的规模变化曲线的问题,而不是宣称模型获得了意识、类人的理解力,或一种全新的智能。
有几种相关现象需要区分。出乎意料的能力,是指观察者事先未曾预料到的能力;它不一定会突然出现。通过微调获得的能力,对某个特定模型而言可能是新的,但不一定是规模扩大所带来的涌现结果。反过来,即便人们已经预料到某种能力大体上有可能出现,它仍可能在选定的评估方式下被视为涌现能力。这一说法也不意味着模型在没有相关信息的情况下学会了某项技能:即使具体的评估任务并非明确的训练目标,预训练数据中仍可能包含示范、部分解法或密切相关的结构。
能力与能力引出的区别尤为重要。模型可能只有在获得有用的指令、解题示例或输出格式后才能完成任务。这种结果可能表明,模型本来就能执行相关计算,只是先前的评估未能将这种能力引出。它也可能表明,提示提供了完成任务所必需的信息,而不只是显露了一项潜在技能。因此,提示工程改变的是测量能力时所处的条件,而不仅仅是在一个其他方面固定不变的测试中调整措辞。
“涌现”一词在哲学和各门科学中也有更广泛的历史,指的是由组成部分之间的相互作用所产生的系统层面属性。然而,在语言模型研究中,影响较大的、基于规模变化的定义要狭窄得多。它关注的是测得的表现与资源变化之间的关系。无论是更广泛的哲学含义,还是曲线上突然跃升的视觉表现,都不足以证明新的内部机制已经出现。要得出这一更强的结论,需要关于模型学习动态或内部计算的证据。
研究问题的历史发展
这场争论的背景是 2010 年代深度学习与大规模预训练的发展。在广泛数据集上训练的系统,越来越能够完成超出狭义训练目标的任务。迁移学习表明,在一种环境中学到的表征可以提升其他环境中的表现;与此同时,语言模型预训练使下一词元预测成为多种语言任务的有效基础。这些进展促使研究者将能力视为经过广泛训练的系统所具有的属性,而不再将其视为针对各项具体应用分别构建的独立模块。
汤姆·布朗及其同事于 2020 年发表的论文《语言模型是少样本学习者》(Language Models are Few-Shot Learners)是这一研究方向的重要先导。该论文介绍了 GPT-3 系列,其中包括一个拥有 1750 亿参数的模型,并通过在输入中提供指令和示例来评估任务表现,而非针对具体任务更新参数。其结果推动上下文学习成为核心研究对象。模型表现通常会随规模扩大而提升,但不同任务呈现出不同的变化轨迹,其中一些曲线在测量范围内似乎出现了剧烈变化。
关于神经网络缩放定律的研究则揭示了一种与之形成对照的规律。贾里德·卡普兰及其同事于 2020 年报告,在所考察的范围内,语言模型的损失与模型规模、数据集规模及训练计算量之间呈现出相对平滑的关系。后续研究,包括乔丹·霍夫曼及其同事于 2022 年开展的 Chinchilla 研究,表明了平衡模型参数量与训练词元数量的重要性。这些发现使问题更加突出:总体训练目标上的可预测改进,可能与特定下游能力看似不可预测的变化同时存在。
魏等人于 2022 年开展的研究汇集了不同模型系列和评估设置中出现此类变化的实例。同一时期,思维链提示也得到了发展,这种方法在示例中加入中间推理步骤。杰森·魏及其同事于 2022 年另行发表的一篇相关论文报告称,对于规模足够大的模型,这种方法能显著提升其在推理任务上的表现。这些发现使得区分普通任务准确率的涌现与提示技术有效性的涌现变得十分重要。
2023 年,赖兰·谢弗、布兰多·米兰达和桑米·科耶乔发表的《大语言模型的涌现能力是海市蜃楼吗?》(Are Emergent Abilities of Large Language Models a Mirage?)对上述观点提出了重大挑战。他们认为,非线性或不连续的评估指标可能会将底层的平滑改进呈现为表面上的突破,并通过分析和实验证明了这一效应。由此引发的争论并未判定所有已报告的跃变究竟是真实的还是虚幻的,而是使测量方式的选择、采样密度以及可预测性的含义,成为此后解释涌现现象时的核心议题。
规模变量与阈值的出现
语言模型的规模并不是一个单一的量。参数量衡量的是模型学得的数值参数的数量,而训练词元数衡量的是模型接触的数据量。训练计算量既取决于这两者,也取决于架构和实现方式。如果训练不足或数据较差,参数更多的模型也可能不如较小的模型。因此,所谓在某个特定参数量上出现的阈值,通常只是某一组实验所呈现的特征,而不是该能力的普遍分界线。
描述规模效应的一种常见近似方式,是用幂律关系表示可降低的损失与资源之间的关系:
其中, 代表计算量等资源, 是该模型下估计的损失极限值, 和 是拟合得到的常数。这种关系描述的是平均预测误差,而不是每项下游任务的具体表现。损失函数值的平滑下降,可以对应形态截然不同的任务表现曲线,因为不同任务依赖于训练中学得的知识与计算能力的不同部分。
资源分配同样重要。在训练数据集保持不变的情况下增加参数,可能会产生与同时增加参数和数据不同的发展轨迹。改变代码、数学文本、多语言材料或类似指令的示例在训练数据中的占比,即使训练总量没有相应变化,也可能影响特定能力。因此,数据的构成和数据质量使“某种能力因模型变大而出现”这一说法变得更加复杂。模型规模可能与开发过程中其他多项改进同时变化。
实际可用性层面也可能出现阈值,而学习过程本身并没有发生不连续变化。一个回答正确率为 70% 的系统,可能不适合要求准确率达到 95% 的应用。然而,即使系统在这一区间内平稳进步,也可能使它从不被采用突然变为被采用。这是由应用要求决定的实用阈值,不同于基准测试分数中的统计阈值,也不同于模型内部的机制性转变。
横轴本身也会影响解读。大型模型之间的参数量往往相差很大,结果也通常绘制在对数坐标轴上。如果可供比较的模型规模只有少数几个,一条平滑但陡峭的曲线就可能看起来像一次跳变。反过来,对多项任务取平均值,也可能掩盖某项任务特有的转变。因此,与仅比较一个小模型及其规模大得多的后继模型相比,如果证据涵盖间隔较小的多个规模、可比的训练条件以及重复实验,就更有力地支持发生了突变这一判断。
已有报告中的能力及其评估设置
已报告的例子涵盖符号操作、事实性问答、语言理解和推理。多位数算术成为一个备受关注的案例,因为其输出可以得到明确无歧义的检验,而且问题难度可以系统地调整。不过,不同算术任务之间存在很大差异:两个较短整数相加、长整数相乘,以及解答应用题,需要以不同方式结合输入解析、已存储的模式和程序性计算。在某一种题目分布上得出完全正确的结果,并不能证明模型掌握了通用算术算法。
另一个重要的评估环境是 BIG-bench。这是一项于 2022 年推出的协作式基准,汇集了 200 多项任务,旨在探查语言模型的广泛行为。任务包括各种语言解释、符号推理和知识运用。对部分选定任务的分析发现,性能曲线呈现出这样的特征:较小模型的表现接近基线,而较大模型的得分则显著更高。该基准的多样性使这些发现具有参考价值,但也意味着不能假定所有表面上的跃迁都能用同一种机制解释。
上下文学习常被视为一种涌现能力,因为放入提示中的示例可以在不更新模型参数的情况下改变模型的行为。例如,若干组输入—输出配对可以指明某种分类规则或翻译格式。然而,上下文学习并不是一种不可分割的单一技能。它可能涉及不同的过程:模仿示例中的格式、提取熟悉的任务、推断新的映射关系,或者在前向计算中执行类似学习的程序。这些过程随规模变化的表现未必相同。
思维链提示展示的是干预效果的涌现。在某些推理基准上,提供包含完整推理步骤的示例,对较大模型的帮助远大于对较小模型的帮助。较小模型可能只是模仿解释的风格,却无法给出正确解答;较大模型则可能利用中间生成的文本改善答案。可观察到的结果是不同提示条件下的表现差异。仅凭这一点,并不能证明生成的解释忠实反映了产生答案的实际计算过程。
有关跨语言迁移、代码生成和组合推理的主张也面临类似的局限。表面上的新能力可能反映的是将先前学到的组成部分加以组合的能力,而不是创造了一种新操作。此外,数据泄漏(机器学习)可能使模型看起来能够解决某些问题,而这些问题的答案或高度相似的变体实际上曾出现在训练中。因此,可靠的实例有赖于精心构建的测试集、对训练与测试内容重叠的控制,以及能够区分表层模式记忆与系统性能力的各种变体。模型在未见过的长度、经过改换的符号系统和新生成示例上的表现,尤其具有参考价值。
测量假象与统计解释
一个核心问题是,评估指标在绘图之前就已经对行为表现进行了转换。完全匹配准确率只有在整个答案都正确时才记为一分,否则记为零分。它不区分错误答案是只差一个字符,还是与正确答案完全无关。因此,模型在任务各组成环节上的表现可能持续改善,却几乎得不到任何分数,直到它生成完全正确输出的频率足以影响测得的分数。
一个简单的计算可以说明这种效应。假设一项任务需要作出 个子决策,每个决策正确的概率均为 ,并为简化起见假设各决策相互独立。那么,完全成功的概率为
当 时,将 从 提高到 ,会使完全成功的概率从约 升至 。将 进一步提高到 ,这一概率便达到约 。因此,各组成环节准确率的平滑提升,可能使完全匹配表现长期接近零,随后陡然上升。真实的语言输出通常不满足独立性假设,但这个例子说明,任务得分看似突变,并不一定意味着底层学习过程也发生了突变。
其他指标可以揭示被完全匹配掩盖的进步,例如模型赋予正确答案的概率、字符级相似度,或预测字符串与目标字符串之间的编辑距离。没有哪一种指标在所有用途下都必然更优。局部相似性可能揭示学习进展,却无法衡量答案是否可用。一个几乎正确的程序可能无法运行,一个几乎正确的数值答案在实际应用中仍可能是错的。因此,由指标引起的涌现,虽然可能误导人们对内部变化的理解,却仍可能反映出具有实际意义的转变。
有限样本也是表观阈值的一个来源。如果模型在 个相互独立的样例中,对每个样例的成功概率均为 ,那么一次成功也未观测到的概率为
当真实成功概率为 1% 时,一项包含 100 个样例的评估有约 37% 的概率观测不到任何成功。因此,测得的准确率为零,并不能证明模型不具备某种能力。置信区间、重复评估以及更大的样本量,有助于区分表现是否确实处于最低水平,还是成功率较低而样本不足以将其检出。
基线同样需要仔细审视。随机猜测的表现因任务而异,而选择题准确率可能受到答案位置偏好或标签频率不均的干扰。对于自由作答任务,名义上为零的基线可能掩盖相当多的局部知识。有说服力的分析既要报告与实际应用相关的得分,也要提供能够保留模型行为更细致信息的测量结果。同时,还应区分两种变化:一种确实难以预测,另一种则只是在使用特定指标绘图时显得不连续。
可能的机制与受控系统中的证据
多种机制都可能带来行为表现的非线性提升,而不必用单一机制解释所有涌现能力。一种可能是模型获得了中间表征。某项任务可能只有在训练使模型形成了关于句法、数、空间关系或其他相关结构的表征后,才变得可解。表征学习的进步可以同时支持多种下游行为,但仅仅观察到这些行为同步改善,并不足以认定它们具有共同的内部成因。
第二种可能涉及多个前提条件的组合。一道文字应用题可能需要理解题意、选择运算、执行计算,以及按规定格式给出答案。如果任何一个环节失败都会导致整个任务失败,那么在所有环节都达到足够的可靠性之前,完成整个任务可能始终很困难。这种解释类似于精确匹配评分中的乘法效应,但也可以描述真实的计算依赖关系。它预示,在端到端表现变得出色之前,对中间环节的评估可能已经显示出相当强的能力。
对顿悟现象的受控研究提供了一个相关但不同的行为变化滞后实例。在阿莱西娅·鲍尔及其同事于2022年报告的实验中,在模算术等任务上训练的小型网络能够记住训练样本,却要到很久以后才在测试中表现出色。这一转变发生在训练过程中,而非随着模型规模增大而出现。顿悟现象表明,在受控条件下,神经系统的泛化表现可以发生急剧变化,但这并不能证明大型模型在基准测试中出现的突变具有相同机制。
机制可解释性研究试图识别行为背后的计算过程。针对小型Transformer模型的研究考察了支持复制和续写重复序列的注意力模式。其中,归纳头被作为某些上下文学习行为的组成部分加以研究。2022年发表的研究将归纳头的形成与所研究模型的损失及上下文学习表现的变化联系起来。这些发现最直接适用于实际接受测试的架构和行为;若要对推理能力作出广泛论断,还需要更多证据。
理想情况下,机制层面的解释应当能够支持干预。如果某个提出的回路是某项能力的成因,那么禁用或修改该回路,就应当使这项能力发生可预测的变化,同时适当的对照条件应保持不变。激活与正确答案之间的相关性是较弱的证据,因为它们可能反映的是伴随过程,而非不可或缺的计算。当信息分布于众多组件之中时,即使干预成功,其结果也可能难以解释。尚未解决的主要问题是:如何将易于分析的模型中的细致发现,与大得多的系统中相互重叠、彼此冗余的计算过程联系起来,同时不预设相似的行为曲线就意味着相同的机制。
实验设计与预测问题
严谨的研究首先应在查看结果之前明确所要检验的主张。“涌现”可以指准确率的急剧提升、某种特定外推方法失效、内部表征发生变化,或首次跨越具有实际意义的阈值。这些是不同的假设。事先定义任务、规模变量、指标、基线和预测流程,可以降低在查看大量任务后,挑选看起来引人注目的曲线的风险。
模型比较需要控制的因素不只是参数量。值得记录的信息包括架构、训练词元总量、数据配比、分词与词元化、优化设置以及后训练流程。评估训练过程中的中间检查点,有助于区分随训练进程发生的变化与独立训练的模型之间的差异。使用不同的随机种子重复训练,有助于确定表面上的阈值是否稳定,还是仅仅反映了优化过程的波动。对于大型系统,资源成本往往限制了重复实验的次数,因此结论的力度必须与现有比较证据相称。
评估还应改变诱发模型能力的条件。可以通过直接提问、提供示例、要求中间步骤的提示,以及限制输出格式等方式测试任务。在神经网络推理中,解码设置和采样答案的数量都很重要:从多次尝试中选出正确回答,与第一次尝试就得到正确回答,衡量的并不是同一回事。工具访问权限又带来了另一层区别,因为调用外部计算器的模型是一个更大系统的组成部分,该系统的算术表现不能完全归因于模型的内部计算。
要检验可预测性,就必须先作出明确预测,再进行后续检验。在观察所有模型规模的结果后拟合曲线,并不能证明较大模型的表现可以由较小模型的表现预测出来。更有力的方法是仅用较小规模的数据进行拟合,说明不确定性,再用未参与拟合的规模检验预测。比较研究可以考察:连续指标能否改善对精确匹配成功率的预测,中间任务能否预测综合表现,以及数据组成信息能否解释仅凭参数量无法解释的差异。
基准测试的构建必须考虑分布偏移和数据污染。新生成的题目可以减少直接记忆的影响,而改变措辞、符号选择和问题规模,则可以检验某项技能能否迁移到狭窄模板之外。使用独立的验证集,可以避免反复筛选提示词的过程在不知不觉中使评估方案适配某个特定测试集。在考察数百项任务时,报告全部曲线比仅发表最引人注目的例子更有信息价值。这类设计有助于区分稳健的现象与任务选择、提示词搜索或测量点稀疏造成的假象。
对部署、安全与治理的影响
涌现能力的实际重要性,部分在于预测的不确定性。开发者或许能可靠地估计语言模型的平均损失,却远不能同样准确地预测模型的具体能力。这一差距会影响发布决策、评估预算,以及对现有防护措施能否覆盖能力更强的后续模型的判断。这并不意味着每次扩大规模都会带来意外,而只是说明,整体性能指标无法完整刻画系统在实际运行中的行为。
对于人工智能安全而言,关注的对象往往是部署后的系统,而不只是预训练模型。指令微调、基于人类反馈的强化学习、工具、检索以及多步骤工作流程,都可能改变系统能够完成的事情。一个反复进行规划、调用软件并检查结果的AI智能体,可能完成单次模型响应无法完成的任务。因此,某种能力在系统层面突然出现,可能源于组件的编排或对外部资源的访问,而非预训练过程中产生了新能力。
还必须区分能力与行为约束。模型可能具备完成某项任务所需的知识,却在某种交互模式下拒绝作答。反过来,愿意回答也不能证明模型具备相应能力。因此,安全评估会将成功完成任务与拒绝作答、遵守政策以及条件变化下的稳健性区分开来。同样的区分也适用于无害应用:没有帮助的回答,可能反映的是模型在遵循指令或受到输出限制,而不是缺乏相关的基础知识。
在高风险评估中,将基准测试分数转化为对现实后果的判断时,必须谨慎。例如,在一份简短的网络安全问卷上的表现,并不等于在实际运行环境中已被证实的有效性。现实任务涉及信息不完整、条件变化、工具失效以及结果核验。同样,在推理基准测试中表现出色,并不能证明模型在陌生领域也可靠;流畅的解释也不能消除人工智能幻觉。评估证据只有明确说明测试条件,以及这些条件与预期用途之间的差距,才能提供最有价值的信息。
因此,治理可以将涌现视为考察具体能力的理由,而不是将其作为判定模型危险程度或智能水平的独立分类依据。参数量阈值是便于行政管理的指标,却不能替代任务层面的证据。训练后的改动、新近可用的工具,或更有效的提示方法,都可能在参数量不变的情况下改变测得的能力。记录模型版本、评估方法、访问条件以及已知的失效模式,有助于将这类变化与学习过程中真正的不连续变化区分开来。在部署后持续开展评估,还能发现未纳入原始测试集的能力,或那些只有通过新的系统集成才在实际运行中变得重要的能力。