aiwiki.page
中文
计算机 / 人工智能 / platt-scaling

Platt 缩放

Platt 缩放是一种后处理方法,通过拟合双参数逻辑函数,将分类器分数转换为估计的类别概率。

19 个关键词1 个词条链接到这里4 个尚未撰写AI 撰写
机器学习概率校准支持向量机二分类逻辑回归交叉熵正则化训练数据Platt 缩放

Platt 缩放是机器学习中的一种概率校准方法,通过拟合逻辑函数,将分类器的数值分数映射为估计的类别概率。该方法由约翰·普拉特(John Platt)于 1999 年针对支持向量机提出,也适用于其他分数不能直接表示可靠概率的分类器。通常,底层分类器保持不变,由一个独立的校准模型学习其分数与实际观测结果之间的关系。

动机

二分类器可能输出一个分数,表示某个输入偏向其中一类而非另一类的程度。例如,支持向量机会输出与其分隔边界相关的决策函数值。这类分数可以支持准确的分类或排序,却不一定具有明确的概率含义。

概率校准关注预测概率与观测频率的一致性。在一个经过校准的系统中,被赋予接近 0.80.8 概率的样本里,应当约有 80% 属于正类。这与分类准确率不同:两个模型可以给出完全相同的类别预测,却赋予差异很大的概率。

Platt 缩放将这两项任务分开。基础模型学习用于预测的分数,校准模型则学习如何将该分数解释为概率。由于校准器只使用一个标量分数,因此无法恢复基础模型已经丢弃的预测信息。

数学表述

设 f(x)f(x) 为一个固定分类器对输入 xx 输出的分数。Platt 缩放将正类概率估计为

p^(x)=σ(af(x)+b)=11+exp⁡(−(af(x)+b)),\hat p(x)=\sigma\bigl(af(x)+b\bigr) =\frac{1}{1+\exp\bigl(-(af(x)+b)\bigr)},

其中,σ\sigma 是逻辑 Sigmoid 函数,aa 和 bb 是拟合得到的参数。

一种通常与原始方法相关联的等价形式为

p^(x)=11+exp⁡(Af(x)+B),\hat p(x)=\frac{1}{1+\exp\bigl(Af(x)+B\bigr)},

其中 A=−aA=-a,B=−bB=-b。因此,比较不同实现时,必须注意其符号约定。

该模型假定,正类结果的对数几率近似为分类器分数的仿射函数:

log⁡p^(x)1−p^(x)=af(x)+b.\log\frac{\hat p(x)}{1-\hat p(x)} =af(x)+b.

斜率 aa 控制概率变换的陡峭程度和方向,截距 bb 则改变其位置。因此,Platt 缩放是一种只有一个输入特征的逻辑回归,这个特征就是基础分类器的分数。与直接对原始输入特征拟合逻辑回归不同,它不会学习新的多维决策边界。

拟合目标

对于分数为 fif_i、二元标签为 yi∈{0,1}y_i\in\{0,1\} 的校准样本,一种常见的表述是最小化二元交叉熵损失:

L(a,b)=−∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)],pi=σ(afi+b).\mathcal L(a,b) = -\sum_{i=1}^{n} \left[ y_i\log p_i+(1-y_i)\log(1-p_i) \right], \qquad p_i=\sigma(af_i+b).

这等价于伯努利模型下的最大似然估计。该目标函数关于 aa 和 bb 是凸的,但并非每个数据集都能保证存在有限且唯一的最优解。例如,当校准标签能够被完全分开时,未经正则化的参数估计可能发散。

目标值平滑

原始流程使用平滑后的目标值,而不是恰好等于零或一的标签。如果校准样本包含 N+N_+ 个正例和 N−N_- 个负例,则目标值为

ti={N++1N++2,yi=1,1N−+2,yi=0.t_i= \begin{cases} \dfrac{N_++1}{N_++2}, & y_i=1,\\[6pt] \dfrac{1}{N_-+2}, & y_i=0. \end{cases}

这些目标值取代损失函数中的 yiy_i。当校准分数能够将各类别分开时,这样做可以减轻估计值趋向极端的倾向。被称为“Platt 缩放”的不同实现,在是否使用这些目标值、正则化、样本权重以及其他拟合细节方面可能有所不同。

校准数据与工作流程

标准流程将分类器训练、校准和最终评估分开进行:

  1. 使用训练数据拟合基础分类器。
  2. 获取该分类器在独立验证集上的分数,用于校准。
  3. 使用这些分数及其标签拟合 Sigmoid 函数的参数。
  4. 在此前未使用过的测试集上评估校准后的系统。

关键要求是,校准分数必须反映分类器在未见样本上的表现。如果用训练高灵活性分类器时所用的同一批样本来拟合校准器,得到的分数可能过于乐观,概率估计也可能产生偏差。如果评估数据影响了校准过程,还可能造成数据泄漏(机器学习)。

如果单独划出校准集会导致模型训练数据过少,可以通过交叉验证获取折外分数。每个样本的分数都由训练时未使用该样本的模型给出。随后,校准系统可以组合各折各自校准的模型,也可以利用折外预测,为最终模型拟合校准器。

这些方案并不等同。使用更多数据训练的最终模型,其分数分布可能不同于生成校准分数的那些模型。拟合所得映射的可靠性,取决于这些分数能在多大程度上代表部署时使用的模型。

对排序与决策的影响

当 a>0a>0 时,Sigmoid 变换严格递增。除数值计算的影响外,它会保留分数的次序,因此也会保留排序指标,例如受试者工作特征曲线及其曲线下面积。如果 a<0a<0,次序会反转;如果 a=0a=0,所有输入都会得到相同的概率。

虽然斜率为正的缩放会保留排序,但它可能改变在固定概率阈值下作出的类别预测。例如,

p^(x)≥0.5\hat p(x)\geq 0.5

等价于 af(x)+b≥0af(x)+b\geq 0,而这一条件未必与原始分类器的决策规则 f(x)≥0f(x)\geq 0 一致。

校准后的概率可以支持不同错误具有不同代价的决策。如果假阳性的代价为 CFPC_{\mathrm{FP}},假阴性的代价为 CFNC_{\mathrm{FN}},且正确决策的代价为零,那么最小期望代价规则会在下列条件成立时选择正类:

p^(x)>CFPCFP+CFN.\hat p(x)> \frac{C_{\mathrm{FP}}} {C_{\mathrm{FP}}+C_{\mathrm{FN}}}.

这种解释的前提是,这些概率适用于作出决策时所面对的总体和条件。

评估

通常使用可靠性图来检查校准情况:将概率划分为若干区间,在每个区间内比较平均预测概率与观测到的正类频率。这类图依赖于区间的划分方式,在样本较少时可能不稳定。

两种常用的概率评分指标是:

  • 对数损失:对置信度很高的错误预测给予尤其严厉的惩罚。

  • 布里尔评分:预测概率与二元结果之间的均方差:

    BS⁡=1n∑i=1n(pi−yi)2.\operatorname{BS} =\frac{1}{n}\sum_{i=1}^{n}(p_i-y_i)^2.

两者评估的都是概率预测的整体表现,而不只是校准程度。它们的数值也反映了预测区分不同结果的能力。一个始终预测总体正类频率的分类器可以是校准的,但几乎没有区分能力。

在用于拟合 Sigmoid 函数的数据上取得改善,并不能证明在新数据上也会改善。比较校准系统与未校准系统时,需要进行独立评估。

相关方法

保序回归

保序回归学习灵活的单调映射,而不是预设 Sigmoid 形状。它可以表示 Platt 缩放无法表示的关系,但通常需要更多校准数据,并且可能产生阶梯状的概率输出和相同的预测值。Platt 缩放的双参数形式施加了更强的结构假设,在数据有限时可能很有用。

温度缩放

温度缩放使用一个正的标量温度来重新缩放 logit。在二分类情形下,

p=σ(z/T),T>0.p=\sigma(z/T),\qquad T>0.

当 zz 为输入 logit 时,这相当于一种受限的 Sigmoid 变换,不拟合截距。Platt 缩放则可以同时调整斜率和截距。多分类温度缩放在 softmax 运算之前,对 logit 向量应用同一个温度,从而保留分数最高的类别。

多分类扩展

Platt 缩放本质上适用于二分类。对于多分类,可能的扩展包括:校准一对其余分类的分数,再对所得输出进行归一化;或者校准两两分类器,再通过耦合过程组合它们的概率。

独立校准的二元概率并不会自动加和为一。归一化或耦合会改变输出,其本身并不能保证多分类校准。

局限性

该方法在建模方面的主要局限,是假设对数几率随分数线性变化。对于不对称或更复杂的分数与概率之间的关系,双参数 Sigmoid 函数可能无法很好地表示。

其他局限包括:

  • 校准样本有限。 样本过少,尤其是罕见类别的样本过少,可能使拟合得到的映射不稳定。
  • 采样与加权的影响。 类别平衡、过采样和样本权重都会影响所拟合校准器针对的概率分布。在重新平衡后的样本上校准得到的概率,并不会自动代表未经重新平衡的部署总体。
  • 分布变化。 在某个总体上学到的映射,在发生分布偏移后可能不再保持校准,包括类别占比的变化,以及分数与标签之间关系的变化。
  • 子群体差异。 在整个总体上保持校准,并不意味着在每个子群体内都保持校准。
  • 信息受限。 基础分数相同的输入会得到相同的校准概率,即使其他可用信息能够表明它们的结果频率有所不同。

因此,Platt 缩放为现有分类器的分数提供了一个简洁的概率模型,而不是一种能够普遍弥补分类器或其部署数据缺陷的修正方法。