堆叠泛化是一种集成学习方法:将多个模型的预测结果作为另一个模型的输入,由后者学习如何组合这些结果。组成集成的模型称为基学习器或第 0 层模型,负责组合的模型称为元学习器或第 1 层模型。堆叠主要用于监督学习,旨在利用各组成模型在优势和误差上的差异,提高预测的泛化(机器学习)能力。它的核心特征是通过学习获得组合规则,而不是使用固定的投票或平均规则。
原理与架构
假设数据集包含输入与目标值的配对 ,且 个基学习器产生预测 。堆叠预测器的形式为
其中, 为元学习器。
基学习器可以采用不同的算法、特征表示、特征子集或超参数设置。例如,一个堆叠模型可以组合随机森林、梯度提升模型和人工神经网络。架构的多样性只有在能够提供互补的预测信息时才有用:不同算法仍可能产生非常相似的误差。
简单的元学习器采用线性组合形式:
权重可以不受约束,也可以限制为非负,或要求其总和为一。更灵活的元学习器能够学习非线性交互关系,或随输入变化的组合方式。有些实现还会将原始特征传递给元学习器:
这可以帮助组合器识别特定模型在哪些情况下表现良好,但也会增大其模型容量和过拟合风险。
堆叠并不要求基学习器是弱模型,也不要求各模型联合训练。
利用折外预测进行训练
训练中的核心问题是如何为元学习器构造贴近实际使用情况的输入。基模型对参与自身拟合的样本所做的预测,可能比其对未见样本的预测准确得多。因此,如果用这些样本内预测训练组合器,它可能学到在部署时并不成立的关系。
标准解决方案是通过交叉验证生成折外预测。
构造元训练数据
将开发数据划分为 个互不重叠的折 。对于每一种基学习流程 和每一折 :
- 使用除 以外的所有折训练基学习器。
- 对 中的样本进行预测。
- 将这些预测结果存入其对应的原始行位置。
对于 ,定义
其中, 表示未使用第 折训练的模型。得到的元特征矩阵为
每一行包含对一个样本的预测,而该样本未参与相应基模型的拟合。随后,训练元学习器,使其根据 预测 。
当基模型输出为向量时,例如多分类概率,每个学习器会贡献多列,而不是单独一列。
拟合用于部署的模型
构造折外特征后,一种常见做法是在全部可用开发数据上重新拟合每个基学习器。推理时,这些用全量数据训练的模型产生元特征,并将其提供给已经拟合好的组合器。
另一种做法是保留各折对应的模型,先对它们的预测求平均,再将结果传递给组合器。这些做法在计算成本以及所产生的元特征分布上有所不同。
无论采用哪种做法,元训练与部署之间都可能存在不匹配:折外预测来自仅用部分数据训练的模型,而部署时的预测可能来自用全量数据训练的模型,或多个模型预测的平均值。这种不匹配是仅靠构造折外预测无法保证性能提升的原因之一。
预测类型与目标
连续目标
对于连续目标预测,每个基模型通常提供一个数值预测。当这些预测高度相关时,带有正则化的线性组合器往往很有用。
对于以平方误差衡量的预测任务,模型组合的价值部分取决于各模型误差之间的协方差。令 ,并假设某个加权组合的权重之和为一。其误差为
因此,
这说明单个模型的准确性并非唯一考量:如果某个模型的误差与更强模型的误差不同,那么即使它本身略逊一筹,也可能提供有用的信息。较低的误差协方差本身并不能保证较低的总体预测误差,因为偏差和权重估计也会产生影响。
分类
对于二分类,每个基模型可以提供类别概率、决策分数或类别标签。概率和分数通常比硬标签保留更多信息。逻辑回归模型可以作为一种相对简单的元学习器。
对于多分类,模型可以为每个类别提供一个概率。各学习器的类别顺序必须一致。由于各类别概率之和为一,保留所有概率列会引入线性依赖;这是否构成问题取决于组合器。
训练目标应与预期的预测任务相匹配。针对基于概率的损失进行优化的堆叠模型,不一定在排序、按阈值判定的准确率或其他评价指标上表现最佳。各基模型概率的校准程度也未必相同,而堆叠并不会自动保证最终概率得到良好校准。
评估与数据泄漏
折外预测是一种训练机制,而不是对完整堆叠模型的独立评估。一旦元学习器已经使用这些预测及其目标值完成拟合,它在同一份元训练数据上的表现就属于样本内结果。
要可靠地估计最终性能,需要采用以下两种方式之一:
- 使用一份从未用于任何拟合与选择决策的独立测试集;
- 设置外层评估循环,在每次循环中仅使用对应的外层训练分区,重新执行整个堆叠流程。
当交叉验证既用于构造或选择堆叠模型,又用于评估它时,嵌套交叉验证能够提供恰当的隔离。内层流程负责生成元特征和进行模型选择;外层流程则在整个已拟合的堆叠模型都未见过的数据上评估预测。
即使基模型拟合本身排除了留出的折,也仍可能发生数据泄漏(机器学习)。需要从数据中学习的预处理步骤,包括特征缩放、缺失值填补和特征选择,也必须遵守折之间的边界。如果使用某个留出样本的目标值选择超参数,随后又将对该样本的预测视为完全样本外的预测,同样会破坏这种隔离。
划分方案必须反映数据结构:
- **分组观测:**具有相关性的样本,例如同一实体的重复记录,可能需要保留在同一折中。
- **按时间排序的观测:**如果预测旨在模拟未来部署,就应在生成预测时避免使用未来观测进行训练。
- **稀有类别:**分层划分有助于确保各折中有足够的各类别样本可供使用。
采用面向未来预测的时间划分时,并非每个观测都一定能获得有效的折外预测。因此,元训练数据集可能需要排除最初一段时期的数据。
与其他集成方法的关系
**平均与投票。**这两种方法采用预先确定的聚合规则。堆叠则从带标签数据中学习规则,不过学到的堆叠模型最终可能类似于加权平均。
**自助聚合。**自助聚合通常在重采样得到的数据集上拟合相似的学习器,再通过平均或投票聚合结果。相比之下,堆叠着重学习如何组合模型输出。自助聚合模型本身也可以成为堆叠模型的组成部分。
**提升法。**提升法按顺序构建集成,后续组成模型针对先前的误差或不断变化的优化目标进行调整。堆叠通常分别训练基学习器,然后根据其预测拟合组合器。
**混合(Blending)。**在常见用法中,混合使用专门留出子集上的预测训练组合器,而不是使用交叉验证产生的折外预测。术语用法并不统一。留出集方案更简单,但需要预留一部分原本可用于拟合基模型的数据。
**知识蒸馏。**蒸馏训练学生模型,使其复现教师模型或集成模型的输出。堆叠通常保留基模型,并在推理时使用它们的预测;蒸馏则可以用一个可部署的单一模型替代整个集成。
历史
戴维·H. 沃尔珀特(David H. Wolpert)在 1992 年一篇同名论文中提出了堆叠泛化。该方法使用交叉验证方案生成的预测,学习如何组合各个泛化器。
利奥·布雷曼(Leo Breiman)于 1996 年开展的堆叠回归研究,提出了一种针对连续目标、影响深远的形式,其中包括使用非负系数进行组合。后续研究将基于交叉验证的组合方法扩展到了更广泛的候选学习器库。
一个相关框架是超级学习器(Super Learner),由马克·范德兰(Mark van der Laan)、埃里克·波利(Eric Polley)和艾伦·哈伯德(Alan Hubbard)于 2007 年提出。它利用交叉验证,从指定的候选库中选择一种组合。其理论性能保证依赖于有关损失、候选学习流程和渐近情形的假设;这些保证并不意味着每个有限样本下的堆叠模型都优于其最强的组成模型。
应用与局限
堆叠适用于多个模型能够捕捉互补结构的预测建模任务,包括表格数据预测、推荐系统和竞赛中的集成建模。它可以组合基于同一批样本的不同表示构建的模型,例如分别基于结构化特征和文本生成预测的模型。
其主要成本与局限包括:
- **训练开销。**当有 个基学习器和 折时,仅生成元特征就需要约 次基模型拟合,尚未计入全量数据重拟合或超参数搜索。
- **推理开销。**部署时,通常必须先运行所有保留的基模型,组合器才能给出预测。
- **组合不稳定。**高度相关的预测可能导致无约束权重不稳定,尤其是在元训练数据有限时。
- **互补信息有限。**组合几乎相同的预测,可能只增加复杂度,而无法带来实质性的预测收益。
- **运行耦合。**基模型、特征处理流水线或输出约定发生变化,都可能使其产生的元特征不再符合组合器的预期。
- **分布偏移。**训练期间学到的模型误差之间的关系,在部署对象总体发生变化后可能不再成立。
堆叠模型的表现可能不如其中最好的组成模型。因此,要确定其价值,必须在相同的数据使用条件下,评估完整的训练与预测流程,并将其与表现强劲的单个模型及更简单的聚合基线进行比较。