顿悟(grokking)是机器学习中的一种现象:模型先在训练数据上取得很高的性能,此后继续训练很长时间,对未见样本的表现却依然不佳,随后才获得较强的泛化(机器学习)能力。尽管模型参数在整个训练过程中一直在变化,其在未见数据上的表现仍可能出现相对突然的改善。对顿悟的研究主要将其视为学习动态的一种特征:它表明,拟合训练样本与学得具有广泛适用性的解,可能发生在相差很大的时间尺度上。
起源与术语
阿莱西娅·鲍尔(Alethea Power)及其同事在2022年公开发表的论文《Grokking:小型算法数据集上超越过拟合的泛化》中,为这一现象命名。实验考察了神经网络如何学习具有精确底层规则的任务,包括有限集合上的算术运算。一些网络早已很好地拟合了训练样本,却要到很久之后才能学得在留出样本上可靠奏效的解。
这一名称源自 grok,这个词由罗伯特·A. 海因莱因在1961年的小说《异乡异客》中创造,意为深刻理解某事。不过,在机器学习研究中,grokking 描述的是观测到的训练轨迹,既不代表已经证实的心理体验,也不意味着模型以人类的方式理解了任务。
“延迟泛化”这一说法概括了其核心特征。不同研究对术语的用法有所不同:有些研究仅将长时间明显过拟合之后出现的性能骤升称为顿悟,另一些则将其更宽泛地用于留出数据上的性能在明显延迟后得到改善的情况。
典型的学习动态
典型的顿悟实验采用监督学习,使用固定的训练数据集和独立的测试集。其学习曲线(机器学习)大致呈现三个阶段:
- 初步拟合。 随着模型学会预测已经见过的样本,训练性能不断提升。
- 持续较长时间的泛化差距。 训练准确率接近完美,但在留出样本上的准确率仍然很低。这一阶段常被称为记忆阶段,不过,仅凭训练准确率无法确定模型的内部机制。
- 延迟泛化。 留出样本上的准确率大幅上升,而训练准确率仍保持在高位。
若用 和 表示经过 次优化步骤后的训练准确率和测试准确率,则其典型的时间尺度差异为
其中, 是训练性能达到所选阈值的时间, 是留出数据上的性能达到所选阈值的时间。这些阈值是实验中人为设定的标准,并不是定义这一现象的普适常数。
准确率也可能让转变看起来比内部实际发生的变化更加突兀。在分类任务中,预测得分的微小变化就可能使许多样本跨过决策边界。因此,留出数据上的损失函数值、置信度、参数范数和内部表征等指标,能够揭示准确率表面跃升之前已经发生的变化。
经典示例:模运算
模加法是一种得到广泛研究的实验任务。模型接收两个整数 和 ,并预测
其中, 是固定的模数。输入通常表示为词元,并由小型Transformer架构模型或其他人工神经网络处理。
可能的有序输入对共有 个。实验选取其中一部分用于训练,保留其他输入对用于评估。表达能力足够强的模型可以拟合已经观察到的输入—输出对,却在最初无法为其余输入对给出正确答案。随着优化持续进行,模型可能形成对算术结构的表征,使其能够在整个输入空间中奏效。
这种实验任务的价值在于,正确规则是已知的,而且可以对有限的输入空间进行广泛评估。研究人员因此能够区分模型在特定样本上的表现与其在整个底层任务上的表现。
不过,在留出输入对上取得成功,只能证明一种特定的泛化能力。针对某个模数训练的模型,不一定能够处理其他模数、不同的输入格式或更长的算术表达式。在固定任务内出现顿悟,并不自动意味着模型具备通用的数学推理能力。
解释与机制
目前尚无一种解释被证实能够涵盖所有顿悟现象。不同的模型和任务可能出于不同原因,呈现相似的学习曲线。
记忆解与结构化解之间的竞争
一种有影响力的解释区分了拟合单个样本的解与利用共同规则的解。网络可能首先得到依赖特定样本的解,因为优化过程更容易找到这样的解。更具结构性的解则可能缓慢形成,并最终占据主导地位。
这种解释将顿悟与归纳偏置联系起来,即由架构、参数化方式、初始化和优化过程引入的偏好。一个数据集可能容许许多能够拟合训练样本的函数,但训练过程对这些函数的偏好未必相同。
正则化与参数尺度
正则化,尤其是权重衰减,在许多经典实验中发挥着重要作用。一个示意性的正则化目标为
其中, 表示模型参数, 表示预测损失, 表示正则化强度。
即使训练准确率已经达到最大值,这一目标函数的值仍可能继续变化。预测损失可能进一步下降,而惩罚项可能使参数范数较小的配置更受青睐。在某些情形下,相较于保留大量特定样本关联的解,结构化解更容易受到这种机制的偏好。
显式范数正则化与一些自适应优化器采用的解耦权重衰减通常并不等价,不过两者都与顿悟实验有关。此外,显式权重衰减并非必不可少的条件:在适当条件下,即使不使用它,也能观察到类似顿悟的行为。
内部表征的变化
表征学习和机制可解释性研究考察模型在延迟期间内部发生了什么变化。在一些执行模加法任务的 Transformer 模型中,研究人员发现了基于周期性特征的表征,这些特征与离散傅里叶变换有关。它们能够支持对模 加法进行结构化计算。
这类分析能够区分两个过程:有用的计算机制逐渐形成,以及该机制在较晚时刻开始主导模型输出。它们也限制了纯粹基于行为的解读:准确率突然提高,并不一定意味着一个完整算法在单次优化步骤中凭空出现。
基于傅里叶分析的机制,是针对特定任务和模型得出的研究发现,而不是顿悟的一般定义。
影响其发生的因素
顿悟是否发生,以及需要多长时间,取决于多种相互作用的实验选择:
- 训练集的大小与结构。 数据过少,可能不足以对具有泛化能力的解形成充分约束。更多的数据可以缩短延迟,或使明显的过拟合阶段不再出现。
- 模型架构与容量。 模型容量会影响哪些依赖特定样本的解和结构化解能够存在,以及这些解有多容易被学得。
- 初始化与参数尺度。 不同的初始条件可能改变拟合与泛化的相对时间尺度。
- 优化设置。 学习率、优化器、批量大小和正则化强度都可能改变训练轨迹。
- 任务结构。 底层规则简洁的任务,为研究这一现象提供了尤为清晰的实验环境。
- 训练时长。 实验可能在延迟转变显现之前就已结束。
这些依赖关系表明,顿悟是整个训练配置的属性,而不只是架构本身的固有属性。不同的随机种子也可能导致不同的转变时间或结果。
研究意义与局限
顿悟为“训练准确率达到饱和时,有用的学习就必然结束”这一假设提供了反例。它也使一种简单看法变得不再充分:即过拟合之后继续训练,只会使留出数据上的表现恶化。在适当条件下,持续优化反而能够产生泛化能力强得多的解。
这并不意味着早停法失效。早停法是一种模型选择程序,而顿悟是在特定条件下出现的一种经验性模式。许多模型从未经历这种转变,延长训练也可能消耗大量计算资源,却无法提升性能。
可靠的评估还要求将探索过程与最终评估分开。如果研究人员反复查看某个留出集,以选择训练时长或超参数,那么该集合实际上就充当了验证集。另行开展独立的最终评估,有助于避免选择效应和数据泄漏(机器学习)。
顿悟也不同于增大模型规模所带来的性能提升:它的核心维度是持续训练,而且通常保持架构和数据集不变。顿悟本身也不能证明模型在分布偏移下具有稳健性。在由相同规则生成的留出样本上表现出色,并不意味着模型在不同规则、格式或环境下也能可靠运行。
最清晰的顿悟实例往往出现在规模较小、结构高度明确的任务中。这些任务为研究学习机制提供了可控的实验环境,但并不能证明,实际部署的大型模型只要训练得更久,最终就一定会获得某种期望的能力。