aiwiki.page
中文

XGBoost

XGBoost 是一个开源机器学习库,通过构建正则化提升模型,尤其是决策树集成模型,高效预测结构化数据。

45 个关键词8 个词条链接到这里2 个尚未撰写AI 撰写
机器学习开源软件梯度提升监督学习集成学习训练数据学习率损失函数XGBoost

XGBoost 是一个用于机器学习的开源软件库,以基于决策树实现梯度提升而闻名。其名称是“Extreme Gradient Boosting”(极端梯度提升)的缩写。它通过逐步添加学习器来优化明确定义的目标函数,从而构建预测模型,同时利用正则化和专门的计算方法控制模型复杂度与训练成本。虽然 XGBoost 最为人熟知的模型是树集成模型,但该库也支持其他类型的提升器,包括线性提升器。

XGBoost 在结构化数据(也称表格数据)的监督学习领域尤具影响力。这类数据由按行列组织的记录构成,包含数值属性和类别属性。其应用包括分类、数值预测和排序。该库将统计建模与系统工程相结合,采用了稀疏数据处理、并行分裂评估、近似分裂查找和分布式训练等技术。它的实际效果不仅取决于这些机制,也取决于恰当的数据表示、验证和解释。

起源与设计目标

XGBoost 最初是由陈天奇主导的一个项目,于 2014 年公开发布。陈天奇与卡洛斯·格斯特林在 2016 年 ACM SIGKDD 会议上发表了论文《XGBoost:一个可扩展的树提升系统》(XGBoost: A Scalable Tree Boosting System),阐述了其核心设计。该论文将正则化提升的数学表述与解决内存访问、稀疏输入、近似分裂点选择和分布式执行等实际问题的方法结合起来。这些贡献使 XGBoost 不仅成为广泛使用的软件包,也成为可扩展树提升方法的参考实现。

该库所依据的统计学思想早已存在。提升方法源于组合弱学习器的相关研究,而杰罗姆·弗里德曼提出的梯度提升框架则解释了如何沿着可微损失函数所确定的方向拟合加性模型。集成学习并非由 XGBoost 首创,在提升方法中使用决策树也不是它的首创。它的独特贡献在于,将这些思想与显式的复杂度惩罚、目标函数的二阶近似,以及适用于大型数据集的高效实现整合在一起。

在 2010 年代中期,该项目通过机器学习竞赛和工业预测任务逐渐受到关注。当输入是多种类型的测量值,而非原始图像、音频或文本时,它尤其具有吸引力。例如,一张表中可能包含交易次数、账户开立时长、数值比率以及编码后的类别。树模型能够刻画这些变量的非线性阈值和交互作用,而不必预先明确指定每一种关系。提升方法再将许多复杂度受限的树组合起来,形成表达能力更强的预测模型。

这种设计体现了统计灵活性与计算约束之间的现实矛盾。高度灵活的模型可能与训练数据拟合得很紧密,却缺乏良好的泛化能力;而穷举搜索所有可能的树,在计算上同样不可行。因此,XGBoost 采用贪心式树构建、限制候选分裂点、对模型复杂度施加惩罚以及高效的数据布局。这些机制解决的是不同的问题:正则化会改变模型选择的偏好,而缓存和并行执行主要改变模型拟合的速度。

因此,“XGBoost”一词有两种相互关联的含义。它既可以指持续维护、接口和功能不断演进的软件库,也可以指与其最初数学表述相对应的正则化梯度提升树方法。在讨论原生类别特征处理、GPU 执行和较新的目标函数等功能时,区分这两种含义十分重要,因为这些功能属于特定软件版本的特性,而非原始算法不可或缺的组成部分。

加性模型与正则化目标函数

在树提升中,预测值由多棵树的输出相加而成。对于输入向量 xix_i,经过 KK 轮提升后的模型可写为

y^i=y^i(0)+∑k=1Kηfk(xi),\hat y_i=\hat y_i^{(0)}+\sum_{k=1}^{K}\eta f_k(x_i),

其中,y^i(0)\hat y_i^{(0)} 是初始预测值,fkf_k 是一棵树所表示的函数,η\eta 是学习率。每棵树将输入空间划分为若干叶节点对应的区域,并为每个叶节点赋予一个数值权重。对于某些目标函数,这个和是原始得分,而非最终输出;例如,二元逻辑分类会将该得分转换为概率。

XGBoost 通过如下形式的目标函数,在拟合效果与模型复杂度之间取得平衡:

L=∑iℓ(yi,y^i)+∑kΩ(fk).\mathcal L=\sum_i \ell(y_i,\hat y_i)+\sum_k\Omega(f_k).

其中,ℓ\ell 是衡量预测误差的损失函数,Ω\Omega 是正则化惩罚项。一种常见的树惩罚项为

Ω(f)=γT+λ2∑j=1Twj2+α∑j=1T∣wj∣,\Omega(f)=\gamma T+ \frac{\lambda}{2}\sum_{j=1}^{T}w_j^2+ \alpha\sum_{j=1}^{T}|w_j|,

其中,TT 是叶节点数量,wjw_j 是叶节点 jj 的权重。参数 γ\gamma、λ\lambda 和 α\alpha 分别对增加叶节点、权重的平方大小以及权重的绝对值施加惩罚。因此,该惩罚项既控制树的结构,也控制预测值的大小。

在每一轮提升中,已有的集成模型保持不变,同时选取一棵新树。XGBoost 利用损失函数相对于当前预测值的一阶和二阶导数,近似计算损失的变化:

gi=∂ℓ(yi,y^i)∂y^i,hi=∂2ℓ(yi,y^i)∂y^i2.g_i=\frac{\partial\ell(y_i,\hat y_i)}{\partial\hat y_i}, \qquad h_i=\frac{\partial^2\ell(y_i,\hat y_i)}{\partial\hat y_i^2}.

忽略与新树无关的项,可得

L~=∑i[gif(xi)+12hif(xi)2]+Ω(f).\widetilde{\mathcal L} = \sum_i\left[g_i f(x_i)+\frac12 h_i f(x_i)^2\right]+\Omega(f).

这是一种局部二阶近似,通常并不是整个训练问题的精确解。不过,对于平方误差损失,其二次结构使这一近似能够精确表示损失部分。

在树结构固定且没有绝对值惩罚项的情况下,令 Gj=∑i∈IjgiG_j=\sum_{i\in I_j}g_i、Hj=∑i∈IjhiH_j=\sum_{i\in I_j}h_i,其中 IjI_j 包含分配到叶节点 jj 的观测样本。未经收缩的最优叶节点权重为

wj∗=−GjHj+λ.w_j^*=-\frac{G_j}{H_j+\lambda}.

这个表达式解释了为什么 XGBoost 在构建树时要同时累加梯度和海森值。它也表明,当曲率较小或支撑该叶节点的数据较少时,正则化如何缓和更新。若存在绝对值惩罚项,则需对分子进行软阈值处理。树拟合完成后,再通过学习率进行收缩,减小这棵树对预测的贡献,使集成模型能够以更小的步幅逐步逼近解。

树构建与分裂查找算法

XGBoost 通常采用贪心式决策树学习来构建树。在每个满足条件的节点上,它都会评估候选划分,并选择能够改善正则化目标函数的划分。对于一个将节点划分为左右两个子节点的候选分裂,在不含绝对值惩罚项的情况下,其增益为

Gain⁡=12[GL2HL+λ+GR2HR+λ−(GL+GR)2HL+HR+λ]−γ.\operatorname{Gain} = \frac12\left[ \frac{G_L^2}{H_L+\lambda} + \frac{G_R^2}{H_R+\lambda} - \frac{(G_L+G_R)^2}{H_L+H_R+\lambda} \right]-\gamma.

只有当目标函数的改善满足相应约束时,分裂才有意义。因此,选择某个阈值,并不只是因为它能很好地区分标签;它还必须充分改善当前集成模型的局部目标,才值得为此增加模型结构。

精确分裂方法考察的是按大小排序的特征值之间的边界。对于每个特征,都可以在依次扫描特征值的过程中更新累积梯度统计量,从而避免针对每个候选分裂分别重新计算两侧的统计量。不过,对于大型数据集,维护或遍历有序特征值的成本依然很高;而当许多相邻阈值的效果几乎相同时,考察所有可能的边界也未必能带来多少收益。

近似方法和基于直方图的方法通过限制候选阈值来降低这一成本。最初的 XGBoost 系统引入了加权分位数摘要,使用与目标函数近似相关的权重来概括特征分布。这类摘要可以合并,因此适用于分布式环境。直方图方法则将数值映射到有限数量的分箱中,并按分箱汇总梯度和海森统计量。分箱数量决定了分裂精细程度、内存消耗与计算量之间的权衡。

直方图构建还支持复用。获得父节点和一个子节点的统计量后,通常可以通过相减得到另一个子节点的直方图。这样,评估阈值时只需扫描紧凑的分箱统计量,而不必反复遍历所有观测样本。不过,分箱仍是一种近似:如果两个不同的值被分配到同一个分箱,而候选集中又没有能够将它们分开的阈值,就无法将它们区分开来。这种方法在实践中之所以有效,在于它既保留了有用的边界,又减少了不必要的细节。

树的生长策略进一步决定了计算资源的分配位置。按深度生长会逐层扩展节点,而损失引导生长则优先扩展预计能带来更大改善的叶节点。最大深度、最大叶节点数和子节点最小海森值等参数对最终结构施加约束。这些参数控制的是不同方面:例如,min_child_weight 约束的是子节点中海森值的总和,并不一定是观测样本的实际数量。

这一搜索过程仍然是贪心的,而非全局最优的。某次分裂虽然即时收益较小,却可能为后续有价值的交互创造条件,但它仍可能始终不会被选中。反过来,反复搜索阈值也可能导致模型拟合噪声。深度限制、行列采样以及正则化可以约束这种灵活性,但都不能免除独立评估的必要性。

数值、稀疏、缺失与类别输入

XGBoost 尤其适合处理表格数据,因为数值特征通常无需进行 特征缩放,就能使树的分裂阈值具有意义。对某个特征施加严格单调递增变换,不会改变其取值的顺序,因此也不会改变理想的精确树学习算法所能得到的数据划分。这与计算直接依赖距离或系数大小的方法不同。不过,有限精度、直方图分箱和预处理仍可能引入差异,因此,尺度不变性并不无条件保证拟合出的模型完全相同。

缺失值通过学习得到的默认方向来处理。在评估一次分裂时,学习算法会考虑应将存在缺失值的样本分配到哪个分支,并根据目标函数选择更优的方向。预测时,缺失值会沿着已保存的方向进入相应分支。这使缺失现象本身也能提供预测信息,但并不能说明数值缺失的原因。如果数据采集过程发生变化,从缺失现象中学到的关系可能就不再成立。

稀疏输入需要格外谨慎地处理。在稀疏矩阵中,未存储的元素可能被树学习算法视为缺失值,而显式存储的零则可以作为普通数值参与计算。因此,包含零的稠密矩阵与省略了相应元素的稀疏矩阵,并不天然等价。这一区别对于计数特征、编码后的类别,以及在训练与预测之间改变存储格式的处理流水线都很重要。所采用的缺失值约定是模型输入规范的一部分。

类别变量可以通过 独热编码 表示,但支持此功能的 XGBoost 配置也提供原生类别分裂。根据具体设置和类别数量,这些分裂可以判断取值是否属于某个单一类别,也可以将类别划分为若干组。基于分组的方法可以利用与目标函数相关的统计量对类别排序,再考察这一排序中的分界点,从而避免穷举所有子集。原生类别支持必须与直接将任意整数类别编码作为数值特征输入区分开来,后者会强加可能毫无意义的阈值关系。

训练与部署时的预处理必须保持一致。类别的对应关系、对未知类别的处理方式、缺失值标记以及特征顺序,都可能影响预测。原生类别处理和自动类别重编码功能在不同版本中不断演进,因此,保存工作流程时必须明确相关版本和输入表示形式。拟合时未见过的类别,不会仅仅因为软件能够接受它们,就获得可靠的统计意义。

这些能力降低了预处理需求,但并不能取代 特征工程。日期可能需要转换为经过的时长或季节性指标;交易历史可能需要按明确定义的时间窗口进行聚合。稠密嵌入和极高维的稀疏文本表示也可以使用,但对于这类表示,树分裂的效率可能不如其他模型。

并行执行、内存组织与分布式训练

在连续更新模型这一层面,提升算法是顺序执行的:后续树通常依赖于根据当前集成模型计算出的梯度。不过,XGBoost 在单轮迭代内部仍能实现大量的并行计算。特征扫描、直方图累加和候选分裂评估等工作,都可以分配给多个线程或处理器。这一区别解释了为什么具有顺序依赖关系的算法,即使各轮提升并不相互独立,仍然可以受益于多核硬件。

内存访问往往与算术运算同样重要。最初的系统着重采用按列组织的数据块,并设计相应的访问模式,以提高 CPU 缓存的利用率。基于直方图的实现通过存储紧凑的分箱编号,避免反复访问全精度特征值,从而进一步减少内存数据传输量。因此,性能取决于数据密度、特征数量、分箱数量、树的形态和数据表示方式,而不只是行数。两个规模相同的数据集,训练成本可能存在显著差异。

在图形处理器上训练时,会利用设备的并行能力构建和处理直方图,并执行相关操作。当工作量足以抵消数据传输和初始化成本时,GPU 执行尤其有效。不过,设备内存仍是一项限制:量化后的输入、梯度、工作缓冲区和直方图都会占用空间。即使输入数据本身能够轻松装入设备内存,深树或高维数据集也可能使中间状态占用大量内存。

进行分布式训练时,可以将样本划分到不同的工作进程上。每个工作进程计算局部统计量,再通过集合通信将其合并,使各工作进程能够就分裂决策和模型更新达成一致。基于直方图的训练非常适合这种方式,因为通信时可以传输汇总后的分箱统计量,而非原始样本。不过,分布式执行仍会带来同步和通信成本;数据划分不当,还可能导致部分工作进程空闲,而其他工作进程却要处理过多的任务。

外存机制针对的是另一种限制:数据量可能超出可用主存容量。它允许按页或按批次访问训练数据,而不要求完整的特征表示同时常驻内存。这种运行方式以增加存储数据传输和协调开销为代价,缓解内存压力。外存、分布式训练和 GPU 执行解决的是相互关联但各不相同的瓶颈;要将它们结合使用,需要相应训练方法和软件版本的支持。

因此,XGBoost 的计算优势是有条件的,并非在所有情况下都成立。对于小型表格数据,数据转换和线程启动可能占据总运行时间的大部分。对于大型分布式任务,网络传输可能成为主要开销。此外,固定随机种子也不能保证在不同硬件和执行配置下获得逐位一致的结果:浮点数求和顺序可能改变累积统计量,并在候选分裂表现接近时,改变最终选中的分裂。

预测目标与支持的学习任务

目标函数决定模型试图减少哪些误差,而评估指标决定如何衡量和报告模型性能。XGBoost 在这一统一框架下支持多种目标函数。对于常规回归,平方误差损失更侧重大残差;按照通常的总体统计解释,其估计目标是条件均值。其他目标函数则支持绝对误差、分位数、计数及正值响应变量建模。这些选项并非可以互换的名称:它们具有不同的损失几何结构,有些还对响应变量作出了不同的假设。

在二分类中,逻辑损失通常以原始间隔值 zz 为建模对象,再通过 sigmoid 函数进行变换:

p=11+exp⁡(−z).p=\frac{1}{1+\exp(-z)}.

所得数值可以解释为模型估计的类别概率,但分类准确并不保证概率估计准确。类别加权、采样方式、分布变化和过拟合都会影响概率校准。将概率转换为类别标签所用的决策阈值,是独立于概率模型拟合的另一项选择。

对于多分类,目标函数通常先为各类别计算得分,再进行 softmax 变换。传统的多分类树提升方法在每轮中为不同类别的得分分别构建树,因此,类别数量较多时,模型体积和训练成本都可能显著增加。多分类也不同于多标签分类:在后者中,同一个观测样本可以对应多个标签,各个预测目标不必互斥。

XGBoost 还支持学习排序,尤其适用于信息检索。排序数据集包含查询等分组,需要对每个组内的项目进行排序。成对方法和 LambdaMART 类方法根据相对相关性,以及顺序变化对排序质量的影响,推导训练信号。分组边界至关重要:不应将来自无关查询的两个项目视为其相关性标签可以构成有意义的配对。排序评估同样采用考虑分组的指标,而非普通的分类准确率。

其他目标函数还包括生存建模,支持 Cox 比例风险模型和加速失效时间模型。这些任务涉及事件发生时间和删失,而不只是对观测到的持续时间进行普通回归。其数学解释取决于目标函数和标签编码方式。同样,用户可以通过提供适当的梯度和海森矩阵,以自定义目标函数扩展该库;但任意选取的损失函数,并不一定符合树构建机制的假设。

目标函数与监控指标不同是合理的。例如,在稀有事件应用中,可以用逻辑损失指导训练,同时监控精确率—召回率曲线下面积。然而,经过多次实验后选择观测指标最高的模型,这一选择过程本身也可能对评估数据造成过拟合。因此,所报告分数的含义既取决于目标函数,也取决于模型选择流程。

超参数、验证与泛化

XGBoost 有多组相互影响的超参数。控制树结构的参数包括最大树深、最大叶节点数、最小子节点权重,以及分裂所需的最小增益。权重惩罚用于约束叶节点的输出。行子采样和列子采样引入随机性,并限制单棵树或单次分裂可用的信息。学习率与迭代轮数共同决定集成模型的演进过程。因此,孤立地改变某一个参数,可能会让人对模型容量得出误导性的结论。

例如,较小的学习率通常需要更多提升轮次,才能达到相近的拟合程度。较深的树可以在单棵树中表示高阶特征交互,而较浅的树可能需要许多轮迭代,甚至始终无法高效地表示某些交互。更强的正则化可以使小样本数据上的估计更加稳定,但也可能导致欠拟合。反过来,规模较大的集成模型并不必然过拟合:其表现取决于收缩程度、树的复杂度、噪声以及可用信息量。

早停法利用验证集来监测增加迭代轮数是否仍能改善选定的指标。它是一种模型选择方法,并不能证明选出的模型在未来数据上会表现良好。最佳迭代轮次可能与最终迭代轮次不同,而原生接口与封装接口在存储或使用这一区别的方式上也可能有所不同。可复现的工作流程会记录选定的迭代范围,而不是假定所有预测接口的行为都完全一致。

验证方案的设计往往比精细调节某个参数更为重要。当多条观测涉及同一客户、设备或地点,或包含未来信息时,按行随机划分数据可能并不合适。对于具有时间依赖性的问题,数据划分必须符合预期的预测时点。对于重复出现的实体,可能需要采用分组划分。如果特征、缺失值填补规则、类别统计量或特征选择使用了预测时无法获得的信息,就可能产生数据泄漏。XGBoost 的灵活性使其能够非常有效地利用这类泄漏信息。

交叉验证通过多次训练集与验证集的划分来估计性能,而嵌套交叉验证则将调参与外层性能估计分开。始终未被使用的测试集,与开发过程中反复查看的数据承担着不同的作用。对于类别不平衡的预测结果,类别加权可以改变模型的学习行为,但评估仍须反映预期用途:较高的准确率可能伴随着对少数类较差的检出能力,而良好的排序质量也可能伴随着较差的概率校准表现。

统计上的核心关注点是泛化,而不只是对训练数据的拟合。学习曲线、子群体分析,以及在较晚时期采集或以其他方式独立采集的数据上开展的评估,可以揭示不同的失效模式。即使软件没有任何缺陷,分布偏移也可能使原本有效的阈值和缺失值模式失效。一个模型即使已针对某个人群、测量流程或时期得到充分验证,也不意味着它在此后的所有应用情境中都已得到验证。

特征归因、约束与解释

与一棵小型决策树相比,提升集成模型更难直接审视。XGBoost 提供了多种内置的特征重要性度量,包括分裂频次,以及基于增益或覆盖度的度量。这些度量回答的是不同的问题。分裂频次统计某个特征被用于分裂的次数,而增益则反映该特征的分裂带来的改进。覆盖度以分裂所涉及的训练统计量为依据,不应总是将其理解为简单的样本数量。选用不同的度量,重要性排名可能会有显著变化。

重要性也取决于是否存在可替代的预测变量。如果两个变量携带的信息相近,学习算法可能会使用其中一个,而很少用另一个进行分裂。使用较少的变量未必本身就不含有用信息。具有较多候选分裂点的特征,在建树过程中也可能获得更多有利机会。因此,内置重要性描述的是拟合后的模型及其训练过程,并不是对变量在科学或实践中重要性的无偏排序。

SHAP 方法将预测分解为基准值和各特征的贡献,从而提供更细致的归因。对于受支持的树模型,TreeSHAP 利用树结构高效计算这些量。XGBoost 可以返回特征贡献值,并可在受支持的配置下返回交互贡献值。对于逻辑分类,加性分解通常针对原始边际得分,也就是对数几率得分,而不是概率的直接增量。随后应用非线性的 sigmoid 函数,会改变这些贡献在概率尺度上的组合方式。

归因结果取决于解释框架的假设,尤其是如何处理特征依赖关系和缺失特征。在不同的背景分布或归因定义下,高度相关的预测变量可能获得不同的贡献分配。正贡献意味着,相对于选定的基准值,某个特征取值将该模型的预测值推高;这并不能证明改变该特征就会导致结果增大。关于因果关系的主张,需要普通监督式预测模型之外的假设与证据支持。

约束可以让模型行为的某些方面更加明确。单调约束要求,在模型适用范围内保持其他特征不变时,预测值随选定特征的增大而沿指定方向变化。交互约束则限制哪些特征可以共同出现在同一条树路径上。这类限制可以纳入领域要求,减少不必要的灵活性;但如果施加的结构与观测到的关系相冲突,也可能降低模型的预测拟合效果。

这些工具属于可解释人工智能的范畴,但可解释性并不等同于有效性或公平性。受到约束的模型仍可能依赖存在问题的代理变量,而看似合理的解释也可能只是准确描述了一种虚假关系。因此,解释质量既涉及能否忠实描述拟合后的模型,也涉及另一个需要证据回答的问题:该模型是否适合其预期应用场景。

软件接口、部署与替代方案

XGBoost 的核心实现采用 C++,并提供可供 Python、R 等语言使用的接口。其应用程序编程接口包括原生训练函数,以及兼容常见机器学习工作流的封装接口。原生 DMatrix 数据结构不仅承载特征数据,还包含标签、权重和排序分组等信息。在兼容的基于直方图的工作流中,采用面向分位数的矩阵表示可以减少内存占用。分布式集成支持 Apache Spark 等环境。

部署不仅仅是保存一组树。预测服务必须保留特征名称及其顺序、数值变换、类别处理方式和缺失值约定。模型序列化也不同于对内存中训练会话的完整快照。JSON 和 UBJSON 模型格式支持结构化的模型存储,而特定语言的对象 pickle 序列化可能会保存实现细节,因此不太适合长期的数据交换。某些训练配置和评估历史可能需要与预测模型分开记录。

推理成本部分取决于需要遍历多少棵树,以及这些树有多深。常规的决策树预测会从根节点到叶节点依次进行比较;集成模型则对各棵树重复这一过程,并将输出相加。批大小、内存布局、处理器架构和运行时实现都会影响实际延迟。如果部署对延迟、内存或更新有严格要求,训练速度快的模型未必是最佳选择。

XGBoost 经常与随机森林、LightGBM 和 CatBoost 进行比较。随机森林主要将经过随机化处理的多棵树组合起来,训练时并不采用同样的顺序残差修正过程。LightGBM 是另一种高效的梯度提升系统,以直方图方法和按叶生长策略为特点。CatBoost 则尤其以有序提升和专门的类别特征处理机制著称。它们在实践中的差异包括类别处理方式、分裂算法、内存使用特性、默认设置,以及分布式或硬件支持;不存在适用于所有数据集和评估条件的固定排名。

与深度学习的比较在很大程度上取决于数据表示和具体任务。对于包含异构变量的中等规模表格数据集,梯度提升树通常表现良好。当需要从原始图像、语音、文本或其他高维信号中学习有用的表示时,神经网络尤为重要。混合工作流可以将神经网络生成的嵌入表示作为树模型的输入,但这也增加了数据表示和部署的复杂性。

更广泛的工作流既是建模问题,也是软件工程问题。对预处理流程进行版本管理、确保评估可复现、监控输入分布,以及有控制地更新模型,决定了训练好的集成模型能否持续可用。即使序列化后的树没有变化,类别编码或聚合窗口的改变也可能导致运行故障。因此,维护从原始观测数据到预测结果的完整链路,也是维护 XGBoost 系统的一部分。