LightGBM 是一个用于训练梯度提升决策树的开源软件框架。它最初由微软开发,于 2016 年公开发布,旨在提高基于树的学习方法在计算和内存使用方面的效率。它支持回归、分类、排序及其他预测任务,为多种编程环境提供接口,并支持单机训练和分布式训练。
该框架尤其适用于结构化的表格数据,即以数值特征、类别特征或稀疏特征表示的观测数据。它在设计上结合了基于直方图的分裂点查找、按叶生长的树构建方式,以及减少训练过程中数据处理量的技术。2017 年介绍 LightGBM 的论文着重阐述了两项技术:基于梯度的单边采样和互斥特征捆绑。这些技术只是整个系统的一部分;系统的行为还取决于目标函数、类别特征与缺失值的处理方式、正则化以及执行后端。
LightGBM 既是一个软件库,也是一类学习算法的实现,而非单一、固定的统计模型。它的运行速度和预测性能取决于数据集、配置、硬件及评估流程。因此,要理解 LightGBM,就需要区分数学层面的提升过程与高效执行这一过程所采用的工程方法。
起源与数学基础
LightGBM 源于微软在可扩展机器学习方面的研究。论文《LightGBM:一种高效的梯度提升决策树》发表于 2017 年神经信息处理系统大会,作者包括柯国霖、孟琪、Thomas Finley、王太峰、陈薇、马卫东、叶琦玮和刘铁岩。论文介绍了降低梯度提升决策树计算开销的方法,尤其适用于包含大量观测样本或稀疏特征的数据集。该项目采用 MIT 许可证发布,除了最初所属机构的开发工作外,也通过公开的社区贡献持续发展。
它的统计学基础是集成学习,即将许多相对简单的模型组合成预测能力更强的模型。随机森林通常独立训练多棵随机化的树,再汇总它们的输出;与此不同,提升方法按顺序逐棵添加树。每棵新树的拟合目标,都是改善已构建集成模型的预测结果。在一种常见的表述中,第 次迭代后的预测为
其中, 是新拟合的树, 是学习率。模型通常从一个常数预测值开始,例如使初始训练损失最小的值。
训练的目标是最小化所有观测样本上的损失函数,也可以加入对模型复杂度的惩罚。对于二阶可微的损失 ,将其相对于当前预测值的一阶和二阶导数定义为
这些量概括了每个观测样本对局部优化问题的贡献。在平方误差回归中,梯度与预测误差成正比,而二阶导数为常数。在逻辑回归分类中,它们既取决于预测概率,也取决于标签。排序目标则需要额外的构造,因为相关性是在文档组内评估的,而不是对所有观测样本分别独立评估。
对于包含观测样本 的叶节点,令 ,。在二次近似下,若采用系数为 的 叶节点惩罚,最优叶节点值可用以下形式示意:
如果分裂后的子叶节点相较于父节点能够改善近似目标函数值,那么该分裂就值得采用。在不考虑 惩罚或其他约束时,增益表达式可示意为
具体实现中的约定可能会对这一分数进行缩放,但其背后的比较方式不变。LightGBM 在工程上的主要挑战,是如何在不反复扫描和排序大量原始数据的情况下,找到高增益的分裂,并累加这些导数统计量。
基于直方图的分裂点查找
精确的数值分裂点搜索会考察不同特征值之间的阈值。在大量特征和多轮提升迭代中执行这一操作,可能需要大量排序、存储和内存数据传输。相比之下,LightGBM 通常会先将数值映射到数量有限的离散分箱中,再评估分箱之间的分裂点。这是一种近似方法:多个不同的数值如果被分到同一个箱中,建树过程就可能无法区分它们。
分箱边界在构建数据集时确定,必要时会使用抽样数据。max_bin 参数控制每个特征的最大分箱数,常用默认值为 255。这并不意味着每个特征都恰好有 255 个分箱。不同取值较少的特征可能只需要更少的分箱,其他设置也会影响分箱的构建。与将所有原始值存储为浮点数相比,得到的表示可以显著节省空间。紧凑的分箱表示还可以提高通过存储层次结构传输的数据中有效数据的占比。
对于每个候选叶节点及其每个特征,训练过程都会构建一个直方图,其中包含梯度之和、海森值之和以及相关的计数信息。如果一个数值特征有 个分箱,那么在直方图构建完成后,利用各分箱的累积和,就能在大约 的时间内评估该特征的候选阈值。构建直方图仍然需要处理分配给该叶节点的观测样本。主要的节省在于,分裂评估的开销取决于分箱数量,而不是原始值中不同取值的数量。
直方图相减带来了另一项重要的开销节省。一个节点分裂后,其直方图等于两个子节点直方图之和。因此,系统可以只构建一个子节点的直方图,最好是观测样本较少的那个子节点,再通过相减得到另一个子节点的直方图。这样就不必分别扫描两个子节点来重新计算它们的全部统计量。这项技术对较深且不对称的树尤其有用,因为其中一个子节点可能只包含父节点中很小一部分的观测样本。
分箱需要在分辨率与资源消耗之间权衡。更多的分箱可以区分粗粒度表示所合并的阈值,从而可能提高预测准确性。但这也会增加直方图的存储开销、分裂点搜索的工作量,以及分布式环境中的通信量。更少的分箱可能加快训练,有时还会附带起到限制模型灵活性的作用,但也可能抹去有用的差异。具体效果取决于特征分布、样本量和目标函数。
由于分箱是数据集构建过程的一部分,其配置并不仅仅是预测阶段的选项。LightGBM 的内部数据集对象存储了经过处理的数据表示,可在多次训练中复用。影响这些表示的参数必须与构建对象时的设置保持一致。同样,验证数据也应使用兼容的特征定义和分箱映射,而不应另行定义一套对输入列的解释方式。
按叶生长与模型复杂度控制
LightGBM 通常采用按叶生长策略,也称为最佳优先生长。每一步,它都会比较当前各叶节点上可用的最优分裂,并扩展能使训练目标改善最多的叶节点。相比之下,按层生长会根据节点的深度进行扩展,通常处理完整层后才继续向下一层推进。这些是构建树的不同策略,而不是对梯度提升的不同定义。
在叶节点数量上限固定的情况下,按叶生长可以将更多模型容量用于特征空间中较难拟合或异质性较强的区域。如果一个区域已经能用单个常数很好地描述,而另一个区域包含多种不同模式,后者就可以获得额外的分支,而不必迫使其他区域也形成同样深的结构。由此得到的树可能高度不对称。一棵有 个叶节点的二叉树,在极端情况下深度可达 ,因此,看似不多的叶节点并不一定意味着预测路径很短。
核心结构参数是 num_leaves,它限制每棵树的叶节点数量。max_depth 参数则单独限制路径长度。两者的作用相互关联,但不能互相替代:深度为 的平衡二叉树最多有 个叶节点,但采用相同叶节点数量上限的按叶生长树不一定是平衡的。LightGBM 可以在遵守最大深度限制的同时,继续按最佳优先原则选择要扩展的叶节点;施加深度限制并不会将其生长过程变成按层扩展。
有多项控制措施用于限制统计依据不足的分裂。min_data_in_leaf 约束叶节点中的样本数,但其执行过程可能使用基于海森信息的近似,因此并不总能严格保证样本数量。min_sum_hessian_in_leaf 要求子节点中有足够的海森值总和,即足够的曲率信息。min_gain_to_split 规定接受一次分裂所需的最小改进幅度。这些设置很重要,否则,一小群孤立的观测样本可能会获得专门的分支,拟合的却是噪声,而不是可重复出现的关系。
还可以通过正则化对叶节点权重施加惩罚。 惩罚会压缩较大的权重值,而 惩罚可以将足够小的叶节点更新值置为零。行子采样和特征子采样会引入额外的约束或随机性。在普通 bagging 模式下,bagging_fraction 控制行采样比例,bagging_freq 则决定采样频率;仅改变采样比例不一定会启用周期性的 bagging。feature_fraction 限制每棵树构建时所考虑的特征范围。
集成模型的容量还取决于提升轮数和学习率。较小的学习率通常需要更多轮才能达到相近的拟合程度,但它本身并不能防止过拟合。早停法根据模型在留出数据上的表现选择停止时机,而不是仅仅因为训练损失仍在改善就继续训练。如何恰当地组合各项约束,取决于样本量、噪声、特征结构以及对预测稳定性的要求,而不是某种普遍适用的树深度与准确率之间的关系。
基于梯度的采样与互斥特征捆绑
LightGBM 的原始论文重点介绍了两项技术:基于梯度的单边采样(GOSS)和互斥特征捆绑(EFB)。它们分别针对训练成本的不同来源。GOSS 减少了估计候选分裂统计量所用的样本数量,而 EFB 则减少了需要处理的特征表示的有效数量。二者都不能视为整个框架的代名词,也不应假定它们在所有配置下都以相同方式运行。
GOSS 的出发点是:梯度绝对值较大的样本对当前优化步骤较为重要。在简单的回归场景中,这些样本往往是现有集成模型预测效果较差的观测。GOSS 保留梯度幅度较大的样本,并从梯度较小的样本中抽样。这与均匀子采样不同,后者赋予所有样本相同的入选概率,不考虑它们当前对损失的贡献。
采样校正至关重要。沿用原始介绍中的记号,假设保留梯度最大的、占全部数据比例为 的样本,再从剩余占比为 的样本中抽取占全部数据比例为 的样本。对抽中的低梯度样本,其贡献需乘以下列因子:
这样做是为了在估计分裂统计量时,补偿低梯度样本代表性降低的影响。若不进行这种补偿,所选样本中大梯度样本的代表性就会过高,从而扭曲估计得到的分布。LightGBM 的实现还会考虑其决策树学习器所使用的导数统计量。
这一过程并不意味着,从更广泛的统计意义上看,大梯度总能识别出信息量最大的样本。较大的残差可能反映真实的数据结构、异常个例、标签错误的样本,也可能源于噪声。GOSS 是一种与当前目标函数相关的计算策略。其收益取决于梯度分布、采样率、数据集规模,以及其他训练操作的成本。它是一种可选的采样策略,而非使用 LightGBM 的前提条件。
EFB 针对的是许多列很少同时取非零值的稀疏特征空间。例如,独热编码会生成指示列,同一类别字段对应的这些列彼此互斥。如果两个特征从不在同一个样本上同时取非零值,就可以将它们的非零分箱放入捆绑表示中互不重叠的区间。通过偏移量可以保留不同特征取值之间的区别,而共同的默认状态则不必重复存储。
寻找最优的特征捆绑方案在计算上十分困难。原始方法将这一问题与图着色联系起来,采用贪心近似算法,并配有处理少量冲突的机制。捆绑并不等同于将无关特征相加,也不等同于应用通过学习得到的投影:其目的是保留原始特征中与分裂相关的信息,同时更高效地处理这些特征的稀疏表示。因此,它在合适的稀疏数据集上优势最为明显,而在特征同时处于活跃状态的稠密表格数据上则未必如此。
分类变量、缺失值与特征语义
LightGBM 可以直接对分类特征进行划分,而不必将每个类别都转换成单独的指示变量列。类别以整数编码表示,并被显式指定为分类特征。一次分类特征划分可以将一部分类别分配到一个子节点,将其余类别分配到另一个子节点。这不同于将这些编码视为普通数值;后者会对可能并无数值含义的标签施加按阈值划分的顺序。
对于包含 个类别的特征,当 较大时,穷举所有二元划分并不现实。LightGBM 根据梯度和海森统计量对类别排序,以高效搜索有用的划分。一种简化的排序统计量形式如下:
其中, 和 汇总了类别 中观测样本的统计信息, 则表示平滑项或正则化项。随后便可沿所得顺序考察候选划分。类别顺序由优化过程的当前状态决定,而非由任意分配的整数标识符决定。
对于类别较少的特征,实现中可以采用“单个类别对其余类别”的划分方式,由 max_cat_to_onehot 等设置控制。其他参数用于限制所考察的分类划分阈值,或对类别统计量施加正则化,其中包括 cat_smooth 和 cat_l2。这些控制对稀有类别尤为重要:如果一个类别只出现过几次,不稳定的梯度和就可能使其效应估计值变得极端。原生分类特征支持减少了手动展开类别的需要,但并不能消除稀疏类别或高基数类别在统计上的难题。
训练和预测时的类别编码必须保持一致。LightGBM 要求类别值能够表示为其支持范围内的非负整数;负的类别值会被视为缺失值。接口可以自动管理部分映射,但具体行为取决于输入类型。即使一列整数标识符的取值实际上代表名称,该列也不会因此自动被声明为分类特征;改变类别到整数的映射,就会改变输入的含义。
缺失值处理已内置于划分搜索中。候选划分可以将存在缺失值的观测样本分配到默认分支,训练过程则根据目标函数选择分配方向。这样,无须先将每个缺失项替换为均值或中位数,缺失本身就能提供预测信息。不过,这一机制并不是解释数值为何缺失的通用理论:模型可能利用某种缺失模式,而当数据采集系统重新设计后,这种模式可能发生变化。
对于稀疏输入,区分零值与缺失值尤为重要。默认情况下,稀疏矩阵中未记录的元素会被解释为零,而非缺失值。启用 zero_as_missing 后,零值——包括稀疏矩阵中的隐式零值——都会按缺失值处理。因此,购买次数为零、未获得测量值以及未激活的指示变量,可能需要采用不同的表示方式。这些选择属于特征工程的一部分,必须在数据集准备、训练和部署后的预测过程中保持一致。
目标函数、排序与软件接口
LightGBM 为多种形式的监督学习提供目标函数。回归目标函数包括平方误差、绝对误差、Huber 损失、分位数损失、泊松损失、Gamma 损失和 Tweedie 损失。每种目标函数都对应不同的预测目标或误差结构。平方误差更重视较大的残差,按照通常的总体层面解释,它估计的是条件均值;绝对误差以条件中位数为目标;分位数回归则以指定的条件分位数为目标。针对特定分布的目标函数具有相应的假设和标签取值范围要求,因此不能像评分选项那样随意互换。
对于二分类,标准的逻辑损失目标函数会学习一个原始分数 ,通常通过以下变换将其转化为概率:
LightGBM 也支持多分类,包括 softmax 形式和一对其余方法。类别权重及类别不平衡相关设置会改变优化问题。因此,使用类别权重的模型所输出的分数,并不必然是对总体事件概率经过良好校准的估计。选择决策阈值也是一个独立于拟合评分函数的步骤。
学习排序是 LightGBM 的一个主要应用领域。排序模型并非预测相互独立的标签,而是学习各组内项目的排列顺序,例如与某个搜索查询关联的一组文档。LightGBM 提供 LambdaRank 风格的训练方法和 rank_xendcg 目标函数。LambdaRank 根据成对项目的排序偏好构造类似导数的信号,并按照这些偏好对排序质量的影响为信号赋予权重。归一化折损累积增益(NDCG)是一种常用的评估指标,着重衡量结果列表顶部高相关性项目的表现。
分组边界是排序数据的基础。来自不同查询的文档不能被视为在同一组内竞争排名,组大小元数据也必须与数据行的排列顺序相对应。相关性标签可以表示分级的相关性判断,而不只是二元结果,并且可以配置从标签到增益值的映射。如果模型接收到的分组信息有误,即使其特征矩阵和标签在其他方面看起来都有效,它所优化的也已是另一个问题。
核心实现使用 C++ 编写,接口包括 Python、R、命令行程序和 C 应用程序编程接口。Python 包提供原生训练函数,以及兼容 scikit-learn 的估计器,如 LGBMRegressor、LGBMClassifier 和 LGBMRanker。原生 Dataset 对象负责管理经过处理的训练数据,而 Booster 则表示拟合后的集成模型。回调机制支持评估日志记录、学习率调整和早停等功能。
自定义目标函数允许用户按要求的格式提供梯度和海森矩阵,从而使用专门设计的损失函数。相比之下,自定义评估指标只负责报告模型表现,并不一定会改变训练目标。这一区别十分重要:监测某项指标,并不意味着每次分裂都在直接优化该指标。同样,原始分数、变换后的预测值、预测类别、叶节点索引和特征贡献值也是不同的输出,其含义取决于具体任务和预测选项。
并行执行、分布式训练与硬件
LightGBM 将算法近似方法与并行计算相结合。在多核处理器上,直方图构建、分裂评估等操作可以分配给多个线程执行。其 CPU 实现使用 OpenMP 来实现共享内存并行。线程数、内存带宽、缓存行为、特征数量和叶节点大小都会影响实际效果;增加处理器核心数并不保证运行时间会按比例缩短。
直方图构建很适合并行执行,因为不同样本可以分别贡献局部统计量,随后再将这些统计量合并。同时,内存访问模式也会显著影响这一过程。紧凑的分箱数据可以减少内存传输量,但当特征和分箱数量较多时,直方图缓冲区可能占用大量内存。LightGBM 提供了控制直方图内存用量以及选择按行或按列处理策略的选项。哪种选择最高效,取决于数据的形状和可用硬件。
在分布式计算方面,LightGBM 支持多种树学习策略,包括数据并行、特征并行和投票并行。在数据并行训练中,各工作节点持有不同的样本子集,并合并直方图统计量以评估全局分裂。因此,通信传输的是汇总后的充分统计量,而不是为每个候选阈值都传输全部原始样本。集合通信技术和直方图相减有助于减少信息传输量。
特征并行方法将与特征相关的分裂搜索工作分配到不同节点。投票并行训练则先让各工作节点提名有潜力的特征,再进行范围更集中的全局评估,以此减少通信。这些策略在本地计算、数据存放位置和网络流量之间采取了不同的权衡。其效果取决于主要瓶颈是行数、特征数量、可用内存,还是互连带宽。对于本就能轻松装入内存的数据集,分布式训练不一定比单机训练更快。
LightGBM 还提供图形处理器(GPU)训练后端。基于 OpenCL 的 GPU 实现与 CUDA 实现是两条不同的执行路径,其构建要求和支持环境各不相同。GPU 可以通过高吞吐量的并行运算加速与直方图相关的工作,但加速效果取决于数据集大小、分箱数量、数据传输开销和实现细节。对于小型数据集或受到严格约束的树,可执行的计算任务可能太少,不足以抵消 GPU 执行带来的额外开销。
数值精度和归约顺序使数学上的预期与软件的实际执行之间又多了一层差异。浮点加法不满足结合律,因此并行累加可能产生略有不同的求和结果,进而改变得分几乎相同的候选分裂之间的选择。因此,即使设置相近,GPU 和 CPU 训练出的模型也不一定逐位完全一致。LightGBM 提供了与 CPU 计算确定性相关的控制选项,但可复现性仍取决于随机种子、数据顺序、软件版本、编译器选择和执行环境。此外,训练吞吐量和预测延迟必须分别测量:训练后端效率高,并不直接决定训练完成的集成模型在部署服务时的开销。
评估、解释与局限性
LightGBM 广泛用于表格数据预测,因为决策树集成无需为每种关系预先定义方程,就能表示非线性阈值关系和特征交互。例如,一棵树可以表达这样的关系:某个数值特征只在某一类别内,或在另一特征超过某个阈值时才起作用。与基于距离的模型或某些优化方法不同,树模型通常也不需要特征缩放。不过,由于分箱数量有限且数值精度受限,数学上对单调变换的不变性,并不能无条件保证软件输出完全一致。
可靠的评估需要将训练数据、验证集和最终的测试集分开。合适的划分方式取决于预测问题。当多条观测记录属于同一个人、组织、设备或时间序列时,随机按行划分可能会产生误导。对于预测未来及其他时序任务,用于预测较早结果的特征或预处理过程不得包含未来信息。LightGBM 能够非常高效地利用数据泄漏;评分很高,并不能证明这些信息在部署时也能获得。
其主要结构性局限在于,树集成会将特征空间划分为多个区域,每个区域对应的叶节点贡献为常数。预测值可能在阈值两侧发生突变,而且普通数值树模型的预测无法在已观测到的分裂范围之外进行线性外推。当目标依赖于超出训练数据范围的持续趋势时,这一点可能带来问题。单调约束可以施加指定的递增或递减关系,但无法补足缺失的因果模型,也不能保证在分布偏移下成功外推。
LightGBM 提供多种特征重要性指标。分裂次数重要性记录某个特征被使用的次数;增益重要性则汇总归因于该特征各次分裂的改进。两者都不是对因果关系的直接度量。具有更多潜在划分方式的特征可能获得更多被选中的机会,而相关的预测变量之间可以相互替代。因此,即使底层的预测现象没有变化,添加或删除另一个包含有效信息的列,也可能改变某个特征表现出的重要性。
对于局部解释,LightGBM 可以利用专门针对树模型的 SHAP(沙普利加性解释) 方法,返回可加的特征贡献。这类方法将模型输出表示为基准值与归因于各特征的贡献之和;对于分类任务,通常是在原始分数尺度上进行表示。其含义取决于对参考分布以及特征依赖关系处理方式的假设。它们解释的是归因框架下已拟合预测模型的性质,而不是现实世界中某个结果为何发生,也不是某种干预会带来什么变化。
与 XGBoost、随机森林或人工神经网络相比,LightGBM 的表现取决于数据集、调参投入、预处理、计算预算和评估设计。LightGBM 按叶子生长的方式并不保证更高的准确率,其最初公布的速度结果也无法确立一个适用于后续各种软件版本和硬件的普遍排名。它不是预训练表征模型:原始语言、图像和音频通常需要先转换为适当的特征或表征,才能用于常规的表格数据训练。因此,在已部署的系统中,类别映射、缺失值约定、特征顺序和变换,与序列化的树本身一样,都是预测系统的组成部分。