概率校准是指预测的概率与相应结果实际发生频率之间的一致性。如果一个经过校准的系统为许多事件赋予 0.8 的概率,那么其中实际发生的事件应约占 80%。在机器学习中,这个术语既指这种统计性质,也指为改善这一性质而调整模型输出的方法。校准与预测准确率不同:一个模型可能经常选对类别,却系统性地夸大置信度;也可能给出校准良好的概率,却几乎无法区分不同个体的情况。
数学定义
二元结果
对于二分类,设 为结果, 为模型预测 的概率。如果满足
则称该预测器完全校准。
这里,条件期望值是指被赋予相同概率的样本中,事件发生的频率。一种等价的非正式表达是
其中,概率值须处于预测器输出分布的支撑集内;当 连续时,这一表达应通过条件分布来解释。
校准是预测结果及其评估所针对的总体共同具有的性质,而不只是拟合后模型自身的性质。同一个模型可能在一个总体中校准良好,在另一个总体中却校准不佳。
一个相关但更弱的条件有时称为总体均值校准(calibration-in-the-large),即
这一条件要求平均预测概率与总体事件频率一致,但并不保证每个概率水平上的预测都可靠:一个区间内的高估可能抵消另一个区间内的低估。
多分类预测
在多分类中,模型返回概率向量 ,其中各分量均非负,且总和为一。常用的校准条件有以下几种:
**全向量校准:**对于每个类别 ,
**逐类别校准:**对于每个类别 ,
**最高概率类别的置信度校准:**若 是选定的类别,且 ,则
全向量校准蕴含逐类别校准和最高概率类别的置信度校准,但这些较弱的条件通常并不蕴含全向量校准。尤其是,置信度与所选类别的准确率相符,并不能充分说明赋予其余类别的概率是否可靠。
校准、区分能力与锐度
区分能力是指区分具有不同结果的样本的能力。例如,即使模型估计的概率偏高,它仍可能将正例排在负例之前。对二分类预测得分进行严格递增变换会保留其排序,却可能显著改变校准程度。
锐度描述预测分布的集中程度或明确程度。在二元预测中,接近零或一的概率比接近事件基准发生率的概率更具锐度。只有以良好校准为基础时,锐度才是可取的。
这些区别说明,仅有校准并不足以产生有用的预测。假设事件发生频率为 20%。一个对每个样本都预测 0.2 的模型在总体层面上是校准的,但它没有提供任何针对具体样本的区分能力。信息量更大的模型可以为不同样本赋予不同概率,同时在每个预测分组内保持校准。
校准也不要求预测完全正确。被赋予 0.1 概率的事件仍可能发生,这并不意味着预测无效。关键在于,在一系列可比的预测中,被赋予这一概率的事件是否大致按所述比例发生。
评估
评估校准时,应使用既未用于拟合模型、也未用于拟合校准器的数据中的观测结果。测试集提供的是对总体校准程度的估计,而非确凿证明。罕见结果以及样本稀少的概率区间可能带来相当大的统计不确定性。
可靠性图
可靠性图也称校准图,用于比较预测概率与经验事件频率。一种常见做法是将预测结果划分为若干箱,并为每个箱绘制:
- 平均预测概率;
- 观测到的正例比例。
完全校准对应于对角线。对于二分类中的正类概率,对角线下方的点表示高估了事件发生概率,上方的点则表示低估。对于以最高概率类别的置信度和准确率绘制的图,对角线下方的点表示过度自信。
等宽分箱易于解释,但各箱中的观测数量可能差异很大。等频分箱使观测分布得更均匀,却可能掩盖较宽概率区间内的变化。各箱的样本数和不确定性区间有助于区分系统性偏差与抽样噪声。
期望校准误差
一种广泛使用的汇总指标是期望校准误差(ECE)。对于分箱 ,其二元事件概率版本为
其中忽略空箱。
在多分类评估中,ECE 往往改为比较最高概率类别的平均置信度与经验分类准确率。因此,比较所报告的结果时,必须注意其具体定义。
ECE 取决于分箱边界、分箱数量、所评估的预测量以及样本量。粗分箱可能掩盖方向相反的误差,而细分箱可能放大抽样噪声。标准的分箱 ECE 通常不是总体校准误差的无偏估计,而且有限样本效应并不一定都朝同一方向作用。
正当评分规则
正当评分规则评估整个概率预测;报告真实概率时,其期望评分达到最优。两个常见例子如下,均以需要最小化的损失表示:
布里尔评分,用于二元结果:
对数损失,也称负对数似然:
这些评分并不是纯粹的校准指标:它们也奖励信息量大的预测。对于实际发生的结果,如果模型赋予其极小的概率,对数损失会给予很强的惩罚。
在总体层面,记 ,则二元布里尔评分可分解为
可靠性项衡量校准偏差的平方。分辨率项衡量不同预测所对应的条件事件频率有多大差异,而不确定性项则取决于结果的基准发生率。基于分组预测进行经验分解时需要谨慎,因为分箱可能改变这些量。
校准方法
校准方法可以修改模型训练过程,也可以在训练后拟合一个额外的变换。事后校准通常保持基础预测器不变,学习从模型得分到概率的映射。
普拉特缩放
普拉特缩放为标量得分 拟合一个 sigmoid 函数:
参数通过带标签的校准数据估计,通常采用最小化对数损失的方法。这种方法最初用于支持向量机,也可应用于其他输出得分的模型。
由于参数少,它在数据利用方面相对高效,但 sigmoid 函数可能无法表示更复杂的校准误差。拟合出的变换若严格递增,就会保留排序;若不加约束而得到负斜率,则会使排序反转。
保序回归
保序回归拟合从得分到概率的非递减映射,而不假设映射具有 sigmoid 形状。它比普拉特缩放更灵活,通常产生阶梯函数。
这种灵活性一般需要更多校准数据。小样本可能导致过拟合,而平坦区间会产生相同的预测值。保序回归保留的是弱序关系,并不一定保留每一对预测之间的严格排序。
温度缩放
温度缩放广泛用于人工神经网络。给定各类别的 logit 值 ,其定义为
温度大于一会使预测分布变得平缓;温度小于一则使其更尖锐。温度通常通过最小化留出数据上的负对数似然来拟合。
使用单个正温度参数不会改变所选类别,因此首选类别(top-1)的分类准确率保持不变。不过,它仍能显著改变概率预测的质量。其局限在于表达能力:一个标量无法纠正任意的类别特异性校准误差,也无法纠正任意依赖输入的校准误差。
其他方法
直方图方法为各得分区间赋予校准后的概率。更灵活的方法包括用于二元概率的贝塔校准,以及对多分类 logit 值进行向量或矩阵变换。更高的灵活性可以表示更复杂的误差,但也会增加数据需求和过拟合风险。
训练阶段的方法会修改损失函数、引入校准惩罚项,或改变模型的正则化方式。集成学习在某些情形下可以改善概率估计,但无论是集成,还是任何特定的训练过程,都不能保证校准。
数据划分与评估设计
校准器本身也是一个需要拟合的统计模型。如果使用最终评估所用的同一批预测来拟合校准器,可能得到过于乐观的结果。
典型的设计会划分出:
数据有限时,可以通过交叉验证生成折外预测,用于校准。模型选择和校准方案的选择仍须与最终评估分开,以避免数据泄漏。
校准数据还必须能够代表预期的预测总体。类别平衡处理、依赖结果的抽样、选择性标注,或事件发生率的变化,都可能使观测频率不同于部署时遇到的频率。
分布偏移与子群校准
校准不会在分布偏移下自动保持。事件发生率、输入分布或输入与结果之间关系的变化,都可能使先前学到的校准映射失效。一般而言,固定的变换无法纠正数据生成过程中的所有可能变化。
总体层面的校准也可能掩盖子群误差。预测器可能在整个总体上校准良好,却对某个群体高估事件概率,对另一个群体低估事件概率。在相关群体或输入空间的相关区域内评估校准,可以揭示这些差异,不过小样本会限制评估的精度。
不同的统计公平性标准可能相互冲突。当不同群体的基准发生率不同,且预测并不完美时,某些校准要求和错误率均等要求通常无法同时满足。因此,总体校准本身并不能证明系统公平,也不能证明其适合某种特定用途。
历史发展与应用
校准起源于概率预报领域,包括天气预报以及对概率判断的统计评估。1950 年提出的布里尔评分成为评估这类预报的重要工具。后续研究发展出了可靠性图,以及将校准与分辨率分离的分解方法。
机器学习的发展带来了针对分类器的校准方法,因为分类器的输出未必是可靠的概率。普拉特缩放于 1999 年出现在支持向量机相关研究中。2017 年一项关于现代神经网络的研究指出,在当时的若干分类场景中,模型存在明显的过度自信问题,并推动了温度缩放作为一种简单事后校准方法的普及。
经过校准的概率可以支持依赖事件发生率估计、而非仅依赖排序的决策。应用包括预测、欺诈检测、异常检测,以及将不确定样本交由后续环节处理的系统。在一个简单的二元决策模型中,若假阳性成本为 ,假阴性成本为 ,正确决策的成本为零,则在以下条件下,预测为正类可使期望成本最小:
这说明,即使排序或分类边界保持不变,概率数值的准确性仍可能十分重要。
对于大语言模型,校准取决于所预测的事件。下一个词元的概率、答案正确的概率,以及用语言表达的置信程度,涉及的是不同的量。其中一项经过校准,并不能证明其余各项也经过校准。答案层面的评估还取决于如何定义正确性、等价答案和部分得分。