Platt 缩放是机器学习中的一种概率校准方法,通过拟合逻辑函数,将分类器的数值分数映射为估计的类别概率。该方法由约翰·普拉特(John Platt)于 1999 年针对支持向量机提出,也适用于其他分数不能直接表示可靠概率的分类器。通常,底层分类器保持不变,由一个独立的校准模型学习其分数与实际观测结果之间的关系。
动机
二分类器可能输出一个分数,表示某个输入偏向其中一类而非另一类的程度。例如,支持向量机会输出与其分隔边界相关的决策函数值。这类分数可以支持准确的分类或排序,却不一定具有明确的概率含义。
概率校准关注预测概率与观测频率的一致性。在一个经过校准的系统中,被赋予接近 概率的样本里,应当约有 80% 属于正类。这与分类准确率不同:两个模型可以给出完全相同的类别预测,却赋予差异很大的概率。
Platt 缩放将这两项任务分开。基础模型学习用于预测的分数,校准模型则学习如何将该分数解释为概率。由于校准器只使用一个标量分数,因此无法恢复基础模型已经丢弃的预测信息。
数学表述
设 为一个固定分类器对输入 输出的分数。Platt 缩放将正类概率估计为
其中, 是逻辑 Sigmoid 函数, 和 是拟合得到的参数。
一种通常与原始方法相关联的等价形式为
其中 ,。因此,比较不同实现时,必须注意其符号约定。
该模型假定,正类结果的对数几率近似为分类器分数的仿射函数:
斜率 控制概率变换的陡峭程度和方向,截距 则改变其位置。因此,Platt 缩放是一种只有一个输入特征的逻辑回归,这个特征就是基础分类器的分数。与直接对原始输入特征拟合逻辑回归不同,它不会学习新的多维决策边界。
拟合目标
对于分数为 、二元标签为 的校准样本,一种常见的表述是最小化二元交叉熵损失:
这等价于伯努利模型下的最大似然估计。该目标函数关于 和 是凸的,但并非每个数据集都能保证存在有限且唯一的最优解。例如,当校准标签能够被完全分开时,未经正则化的参数估计可能发散。
目标值平滑
原始流程使用平滑后的目标值,而不是恰好等于零或一的标签。如果校准样本包含 个正例和 个负例,则目标值为
这些目标值取代损失函数中的 。当校准分数能够将各类别分开时,这样做可以减轻估计值趋向极端的倾向。被称为“Platt 缩放”的不同实现,在是否使用这些目标值、正则化、样本权重以及其他拟合细节方面可能有所不同。
校准数据与工作流程
标准流程将分类器训练、校准和最终评估分开进行:
关键要求是,校准分数必须反映分类器在未见样本上的表现。如果用训练高灵活性分类器时所用的同一批样本来拟合校准器,得到的分数可能过于乐观,概率估计也可能产生偏差。如果评估数据影响了校准过程,还可能造成数据泄漏(机器学习)。
如果单独划出校准集会导致模型训练数据过少,可以通过交叉验证获取折外分数。每个样本的分数都由训练时未使用该样本的模型给出。随后,校准系统可以组合各折各自校准的模型,也可以利用折外预测,为最终模型拟合校准器。
这些方案并不等同。使用更多数据训练的最终模型,其分数分布可能不同于生成校准分数的那些模型。拟合所得映射的可靠性,取决于这些分数能在多大程度上代表部署时使用的模型。
对排序与决策的影响
当 时,Sigmoid 变换严格递增。除数值计算的影响外,它会保留分数的次序,因此也会保留排序指标,例如受试者工作特征曲线及其曲线下面积。如果 ,次序会反转;如果 ,所有输入都会得到相同的概率。
虽然斜率为正的缩放会保留排序,但它可能改变在固定概率阈值下作出的类别预测。例如,
等价于 ,而这一条件未必与原始分类器的决策规则 一致。
校准后的概率可以支持不同错误具有不同代价的决策。如果假阳性的代价为 ,假阴性的代价为 ,且正确决策的代价为零,那么最小期望代价规则会在下列条件成立时选择正类:
这种解释的前提是,这些概率适用于作出决策时所面对的总体和条件。
评估
通常使用可靠性图来检查校准情况:将概率划分为若干区间,在每个区间内比较平均预测概率与观测到的正类频率。这类图依赖于区间的划分方式,在样本较少时可能不稳定。
两种常用的概率评分指标是:
对数损失:对置信度很高的错误预测给予尤其严厉的惩罚。
布里尔评分:预测概率与二元结果之间的均方差:
两者评估的都是概率预测的整体表现,而不只是校准程度。它们的数值也反映了预测区分不同结果的能力。一个始终预测总体正类频率的分类器可以是校准的,但几乎没有区分能力。
在用于拟合 Sigmoid 函数的数据上取得改善,并不能证明在新数据上也会改善。比较校准系统与未校准系统时,需要进行独立评估。
相关方法
保序回归
保序回归学习灵活的单调映射,而不是预设 Sigmoid 形状。它可以表示 Platt 缩放无法表示的关系,但通常需要更多校准数据,并且可能产生阶梯状的概率输出和相同的预测值。Platt 缩放的双参数形式施加了更强的结构假设,在数据有限时可能很有用。
温度缩放
温度缩放使用一个正的标量温度来重新缩放 logit。在二分类情形下,
当 为输入 logit 时,这相当于一种受限的 Sigmoid 变换,不拟合截距。Platt 缩放则可以同时调整斜率和截距。多分类温度缩放在 softmax 运算之前,对 logit 向量应用同一个温度,从而保留分数最高的类别。
多分类扩展
Platt 缩放本质上适用于二分类。对于多分类,可能的扩展包括:校准一对其余分类的分数,再对所得输出进行归一化;或者校准两两分类器,再通过耦合过程组合它们的概率。
独立校准的二元概率并不会自动加和为一。归一化或耦合会改变输出,其本身并不能保证多分类校准。
局限性
该方法在建模方面的主要局限,是假设对数几率随分数线性变化。对于不对称或更复杂的分数与概率之间的关系,双参数 Sigmoid 函数可能无法很好地表示。
其他局限包括:
- 校准样本有限。 样本过少,尤其是罕见类别的样本过少,可能使拟合得到的映射不稳定。
- 采样与加权的影响。 类别平衡、过采样和样本权重都会影响所拟合校准器针对的概率分布。在重新平衡后的样本上校准得到的概率,并不会自动代表未经重新平衡的部署总体。
- 分布变化。 在某个总体上学到的映射,在发生分布偏移后可能不再保持校准,包括类别占比的变化,以及分数与标签之间关系的变化。
- 子群体差异。 在整个总体上保持校准,并不意味着在每个子群体内都保持校准。
- 信息受限。 基础分数相同的输入会得到相同的校准概率,即使其他可用信息能够表明它们的结果频率有所不同。
因此,Platt 缩放为现有分类器的分数提供了一个简洁的概率模型,而不是一种能够普遍弥补分类器或其部署数据缺陷的修正方法。