双下降是机器学习中的一种现象:随着模型容量增大,模型在未见数据上的预测误差先下降,再上升,然后再次下降。峰值通常出现在插值阈值附近,也就是学习过程首次能够完全或近乎完全拟合训练数据的位置。这一现象拓展了人们熟悉的、用 U 形曲线描述过拟合的解释:超过插值阈值的模型,尽管灵活到足以拟合噪声,有时仍能比更小的模型实现更好的泛化。随着训练时长或数据集大小变化,也会出现类似模式,但双下降并非普遍存在。
风险曲线与插值阈值
在监督学习中,模型通过观测到的输入—输出对进行拟合,并使用来自指定概率分布的新样本进行评估。其总体风险为
其中, 是拟合得到的预测器, 是损失函数。在独立测试集上测得的表现可用于估计这一风险。双下降曲线既可以展示给定某个训练样本集时的条件风险,也可以展示对不同训练样本集及其他随机性来源取平均后的风险;这些曲线的形状不一定相同。
传统的 U 形曲线描述的是:随着模型的表达能力增强到足以捕捉有用结构,误差起初下降;随后,模型对特定样本集变得更加敏感,误差因而上升。双下降在此基础上增加了一个阶段:
- **欠参数化阶段:**容量有限可能导致欠拟合。增大容量通常能改善预测,但误差也可能在达到插值之前就开始上升。
- **插值阈值:**拟合得到的模型首次实现零或近乎为零的训练误差。此时,预测可能对噪声及样本集的微小变化格外敏感。
- **过参数化阶段:**许多模型都能对观测数据实现插值。随着容量进一步增大,训练过程从中选出的模型可能具有更低的测试误差。
这里的插值是指拟合观测到的目标值,并不一定意味着准确估计了其背后的真实关系。对于分类任务,训练分类误差为零与训练损失为零也不相同:例如,即使所有训练样本都已被正确分类,交叉熵仍可能继续下降。
一般而言,不能将阈值定义为参数数量等于样本数量的位置。这种对应关系只在满足特定秩假设的某些线性模型中成立。在人工神经网络中,网络架构、数据结构、优化方法以及训练误差的定义,都会影响从何处开始能够实现插值。
与偏差—方差解释的关系
经典的偏差-方差权衡从系统性的近似误差、对训练样本集的敏感性,以及不可约的观测噪声三个方面解释预测误差。一种常见理解是,模型越灵活,偏差就越小,但方差越大,因此存在一个最优的中等复杂度。
双下降并没有否定偏差—方差分解。相反,它表明方差不一定随参数数量单调增加,而且仅凭参数数量无法完整描述拟合后模型的有效复杂度。
超过插值阈值后,增加参数数量会改变可供选择的解的集合。学习过程可能选出范数更小、更平滑,或具有其他有益结构性质的解。这些性质取决于该过程的归纳偏置,而不只是其拟合训练观测数据的能力。
一个线性回归示例
线性回归提供了一个便于解析研究的场景。设 为设计矩阵,其中包含 个训练样本和 个特征,并假设
其中, 是真实系数向量, 是观测噪声。
当 且 列满秩时,普通最小二乘法有唯一解。当 且 行满秩时,存在无穷多个系数向量能够完全拟合任意目标向量。一种标准选择是欧几里得范数最小的插值解,
在 附近, 的较小奇异值可能导致拟合系数放大观测噪声。进一步进入过参数化区域后,这种放大效应可能减弱。
一个精确的例子采用协方差为 的相互独立的高斯特征向量、方差为 的独立噪声,以及范数平方趋于 的真实系数向量序列。当 增大且 时,最小二乘法或其最小范数扩展的超额预测风险趋于
这里的“超额”表示不包含新目标值中不可约的噪声。当 时,该表达式在 处存在奇点。在过参数化一侧,噪声贡献随 增大而减小,而在未被观测到的方向上损失的信号分量则增大。
这个例子展示了插值峰值和第二次下降,但本身并没有产生最初的下降:在达到插值之前,所有相关特征就已经包含在模型中,而上述风险会随之增加。当增大模型规模同时也能减小近似误差时,就可能出现完整的双下降曲线,例如在经过适当选择的特征扩展模型中。因此,插值峰值与完整的双下降形状是相互关联但又有所区别的两种观测结果。
过参数化模型为何能够改善表现
有几种机制有助于解释第二次下降。
**在插值解之间进行选择。**一旦存在多个能够完全拟合数据的解,最小化训练误差就不能唯一确定预测器。显式正则化,例如对系数大小施加惩罚,可以区分不同的解。即使没有显式惩罚,优化过程也可能通过隐式正则化偏向某些特定解。例如,在适当的收敛条件下,从零初始化的梯度下降会在过参数化线性最小二乘问题中选出最小范数解。
**减弱噪声放大效应。**在线性模型和一些核方法中,预测取决于某个由数据决定的矩阵的谱。在插值阈值附近,病态方向可能会强烈放大噪声。增大模型规模可以改变这个谱,从而减弱放大效应。
**拟合噪声在各方向上的分布。**在某些高维场景中,插值预测器可以主要通过一些对典型新输入的预测影响很小的方向来拟合含噪目标值。在适当条件下,这使得良性过拟合成为可能:既完全拟合含噪的训练数据,又保持较低的超额预测误差。良性过拟合并不等同于双下降。前者关注插值估计量的质量,后者描述的是某个实验变量变化时所形成的曲线。
**学习得到的表征。**在深度学习中,增大模型规模还可以改善表征学习。因此,从固定特征的线性回归中得出的解释能够阐明某些行为,但不足以完整解释训练后的神经网络。
主要变体
模型维度的双下降
模型维度的双下降是在尽可能保持数据集和训练方案可比的情况下改变模型容量。可以通过神经网络宽度、拟合所用的特征数量,或模型族的其他参数来改变容量。
进行这类比较时需要谨慎。改变宽度也可能改变优化过程、合适的学习率,以及有效正则化的强度。因此,曲线反映的是完整的训练过程,而不是参数数量所具有的、独立于架构的性质。
训练轮次维度的双下降
训练轮次维度的双下降通过改变训练时长来观察。测试误差可能在学习初期下降,随着模型拟合更多样本特有的细节而上升,随后又在更长时间的训练后再次下降。
这里的横轴是训练时间,而不是模型规模。这种模式会使对早停法的解释更加复杂,但延长训练并不一定会带来第二次改善。它是否出现取决于模型、数据、优化器和正则化。
样本量维度的双下降
样本量维度的双下降是在固定模型及其他实验设置的同时,改变训练数据量。在某些情况下,增加样本会使系统接近插值阈值,并暂时降低测试表现;继续增加样本后,表现又会改善。
这并不是说增加数据一般会有害,而是特定估计量在特定条件下呈现出的非单调行为。样本量变化还可能改变优化难度以及正则化的有效强度。
历史发展
在“双下降”一词确立之前,统计学习和神经网络研究就已经探讨过插值阈值附近预测误差的非单调变化。
2019 年,米哈伊尔·贝尔金(Mikhail Belkin)、丹尼尔·许(Daniel Hsu)、马思远(Siyuan Ma)和绍米克·曼达尔(Soumik Mandal)在一项将经典偏差—方差图景与高度过参数化模型行为联系起来的研究中,推广了这一术语。后续工作为高维线性回归、随机特征模型和核方法建立了精确的风险计算。
普里图姆·纳基兰(Preetum Nakkiran)及其合作者于 2019 年流传、2020 年正式发表的研究,记录了现代深度学习系统中的双下降行为,并考察了模型维度、训练轮次维度和样本量维度这几种形式。这些研究推动人们将插值视为泛化(机器学习)研究中的一个重要转变点,而不是把零训练误差视为预测表现不佳的充分证据。
适用范围、局限与解读
双下降是在特定场景中已被观测到并得到数学确证的现象,而不是机器学习的普遍定律。它是否出现以及幅度大小,取决于标签噪声、特征协方差、信号结构、损失函数、优化器、正则化以及所改变的实验变量。强正则化可以使插值峰值变得平缓,甚至将其消除。有些系统呈现的是单调改善、宽阔的平台期或多个峰值,而不是简单的双下降。
第二次下降后的表现不一定优于最佳的欠参数化模型。远远超过插值阈值也不保证风险较低:特征质量不佳、不利的数据几何结构或大量噪声,都可能使估计量仍然不够准确。
评估方式的选择同样重要。平方预测误差中的峰值,在分类误差中可能不那么明显,而有限的测试集对这两种误差给出的估计都可能带有噪声。反复使用测试结果进行模型选择会损害其独立性;验证集承担的作用与最终测试评估不同。
大多数基础分析都假设训练观测和测试观测来自同一分布。在这一假设下测试误差较低,并不能证明模型对分布偏移或对抗样本具有鲁棒性。
双下降也不同于神经网络缩放定律。缩放定律描述模型表现与模型规模、数据量或计算量等资源之间的系统性关系,通常涉及误差平滑下降的区间。双下降则专门关注一种非单调的转变,通常与插值有关。