aiwiki.page
中文
计算机 / 人工智能 / catboost · 产品

CatBoost

CatBoost 是面向表格数据机器学习的开源梯度提升库,专门处理类别特征并减少训练相关的预测偏差。

28 个关键词5 个词条链接到这里3 个尚未撰写AI 撰写
Yandex开源软件机器学习梯度提升Apache 许可证XGBoostLightGBM决策树学习CatBoost

CatBoost 是由 Yandex 开发的开源软件库,用于机器学习,也指一系列梯度提升方法。它通过构建决策树集成来完成分类、回归、排序及相关预测任务。其特色技术包括对类别特征进行有序处理、通过有序提升减少某一特定来源的训练相关预测偏差,以及默认采用对称决策树。CatBoost 尤其适用于同时包含数值变量和类别变量的表格数据集。

发展与范围

CatBoost 于 2017 年公开发布。其名称源于“categorical boosting”(类别提升),体现了它注重从类别变量中学习,而无须用户手动构造所有数值编码的特点。2018 年发表的研究论文《CatBoost:使用类别特征的无偏提升》(CatBoost: unbiased boosting with categorical features)阐述了其有序方法背后的统计学动机。

该项目将研究方法与面向生产环境的软件库相结合。其核心实现使用 C++ 编写,提供 Python 和 R 等语言接口、命令行工具以及模型部署功能。软件依据 Apache 许可证 2.0 分发。

CatBoost 与 XGBoost、LightGBM 同属树提升系统这一大类。它们的功能有很大重叠,但在树的构建、类别特征处理、优化策略及默认设置方面各有不同。

学习方法

加性树集成

CatBoost 以决策树学习得到的树作为集成学习模型的组成部分。对于标量预测任务,模型可表示为

FM(x)=F0(x)+∑m=1Mηmfm(x),F_M(x)=F_0(x)+\sum_{m=1}^{M}\eta_m f_m(x),

其中,F0F_0 为初始预测,fmf_m 为第 mm 次迭代加入的树,ηm\eta_m 控制该树的贡献。

每棵新树都利用从当前模型误差中得到的信息进行拟合,这些信息通常是所选损失函数的梯度。叶节点的值可根据目标函数和配置,使用梯度优化方法或二阶优化方法进行估计。学习率、迭代次数和树深度共同影响模型容量及训练表现。

支持的任务包括二分类、多分类、数值回归和排序学习。模型输出的数值根据任务进行解释:例如,二分类器可以将原始得分转换为类别概率。

对称树

默认情况下,CatBoost 构建对称树,也称为无感知决策树。同一深度的所有内部节点都使用相同的分裂条件。因此,一条路径可以表示为一系列二元分裂结果,并由此直接确定叶节点。

深度为 dd 的完整对称树有 2d2^d 个叶节点。这种规则结构有利于高效预测,也能从结构上约束模型复杂度。与相同深度但不受此限制的树相比,它也限制了单棵树能够表达的空间划分。

对称树只是默认选择,而非普遍要求:CatBoost 也提供非对称的树生长策略。可用的分析和导出功能可能取决于所选策略。

类别特征处理

类别特征表示样本所属的离散类别,例如产品标识符、国家代码或设备类型。将任意指定的类别标识符当作普通数值处理,会引入可能产生误导的数值顺序。独热编码避免了这种顺序,但当某个特征有大量不同取值时,可能生成很多变量。

CatBoost 支持对部分类别特征使用独热编码,对其他类别特征使用统计变换。具体选择取决于设置、任务和执行模式。

有序目标统计量

一种常见的目标编码方法,是用某类别对应目标值的统计量来替代该类别。如果简单地将某个观测自身的目标值也纳入其特征编码,就可能引入数据泄漏(机器学习)中的目标泄漏问题,尤其是在稀有类别中。

CatBoost 使用有序统计量来处理这一问题。从概念上说,训练观测会按一个随机排列进行排序。某个观测的编码值只使用在该排列中位于它之前的观测所提供的目标信息。

对于数值目标,一个简化的平滑类别统计量为

zi=∑j: π(j)<π(i)1[cj=ci]yj+ap∑j: π(j)<π(i)1[cj=ci]+a,z_i= \frac{ \sum_{j:\,\pi(j)<\pi(i)} \mathbf{1}[c_j=c_i]y_j+a p }{ \sum_{j:\,\pi(j)<\pi(i)} \mathbf{1}[c_j=c_i]+a },

其中,cic_i 为观测 ii 的类别,yjy_j 为先前观测的目标值,π(i)\pi(i) 为该观测在排列中的位置,pp 为先验值,a>0a>0 控制平滑程度。

这个公式用于说明原理,并未涵盖 CatBoost 实现的所有变换。根据任务的不同,该库还可以使用目标离散化、与类别相关的统计量、类别频率及其他构造方式。

对新数据进行预测时,所需的类别统计量从训练数据中计算得出,并随模型一同保存;不需要新观测的目标值。平滑处理和回退值使此前未见过的类别也能获得明确定义的表示,但并不保证对陌生类别的预测准确。

特征组合

CatBoost 还可以构造类别特征的组合,并为这些组合计算统计量。例如,“产品类型 × 地区”这样的类别对可能包含任一特征单独无法提供的信息。

这使部分特征工程得以自动化,但更大的组合可能增加内存占用,以及拟合稀疏模式的风险。组合的构造方式和复杂度由训练设置控制。

有序提升

有序提升处理的问题与类别编码有关,但并不相同。在传统提升方法中,为某个训练观测计算的梯度,依赖于一个已经使用该观测目标值进行拟合的模型。这种依赖可能使训练时的梯度分布不同于模型在未见观测上的相应表现。CatBoost 的研究将此称为预测偏移。

从概念上说,有序提升使用一个仅以排列中较早观测训练的模型,来估计当前观测的梯度。这减少了该观测目标值对计算其更新量所用模型的直接影响。实际实现会共享计算,而不是为每个可能的前缀序列分别训练一个完整模型。

以下两点区别很重要:

  • 有序类别统计量关注如何表示类别输入。
  • 有序提升关注如何构造训练时的预测和梯度。

CatBoost 同时支持 Ordered(有序)和 Plain(普通)提升模式。使用该库并不意味着每个模型都采用有序提升;默认模式及可用模式取决于配置。这两种有序机制都无法消除所有形式的泄漏或过拟合。

软件与执行

CatBoost 支持在中央处理器上训练,并在支持的配置下使用图形处理器训练。GPU 训练可以加速适合的工作负载,但不同执行模式所支持的目标函数、参数及数值行为并不完全相同。

该库接受数值特征和类别特征,也提供文本特征及嵌入特征的处理功能。数值变量会被量化为离散区间,用于选择分裂条件。数值缺失值可按指定策略处理。类别输入有单独的表示要求,其缺失值的处理方式不一定与数值缺失值相同。

常用控制项包括树深度、迭代次数、学习率、采样设置以及叶节点值的正则化。可以使用验证集进行监控和实施早停法。特征重要性和沙普利加性解释值等方法有助于检查模型,但其可用性可能取决于模型类型。

部署选项包括原生模型加载和导出功能。导出的兼容性随模型使用的特征、树结构及目标格式而变化。

应用与局限

CatBoost 用于客户响应建模、需求估计、欺诈检测,以及搜索或推荐系统中的排序等结构化数据预测问题。当类别变量数量较多或基数较高时,它尤其适用。

其实际优势包括集成的类别处理能力、对非线性交互关系的建模能力,以及相对较低的特征缩放需求。这些特点并不意味着它在准确性上普遍优于其他树集成方法或神经网络方法。

主要局限包括:

  • 计算成本。 大型类别统计表、特征组合及较深的树可能消耗大量内存和训练时间。
  • 外推能力有限。 树集成通常产生分段常数预测,无法自然地将数值趋势延伸到已观测范围之外。
  • 依赖数据设计。 有序处理无法修正特征中包含的未来信息、评估数据划分之间重复出现的实体,或不恰当的采样。
  • 条件变化时的保障有限。 虽然能够处理此前未见过的类别,但分布偏移仍可能导致性能下降。
  • 解释能力有限。 特征重要性和归因值描述的是模型行为的某些方面,并不能确立因果关系。

对于按时间排列的数据,随机排列并不等同于遵循时间顺序的评估。对于同一客户的重复记录等分组观测,有序学习同样不能防止组间泄漏。可靠的评估仍依赖于合适的测试集,以及与预期预测场景相匹配的评估设计。