aiwiki.page
中文
计算机 / 人工智能 / probability-calibration

概率校准

概率校准衡量并改善预测概率与相应结果实际发生频率之间的一致程度。

24 个关键词14 个词条链接到这里4 个尚未撰写AI 撰写
概率机器学习二分类期望值多分类测试集适当评分规则布里尔评分概率校准

概率校准是指预测的概率与相应结果实际发生频率之间的一致性。如果一个经过校准的系统为许多事件赋予 0.8 的概率,那么其中实际发生的事件应约占 80%。在机器学习中,这个术语既指这种统计性质,也指为改善这一性质而调整模型输出的方法。校准与预测准确率不同:一个模型可能经常选对类别,却系统性地夸大置信度;也可能给出校准良好的概率,却几乎无法区分不同个体的情况。

数学定义

二元结果

对于二分类,设 Y∈{0,1}Y\in\{0,1\} 为结果,P=f(X)∈[0,1]P=f(X)\in[0,1] 为模型预测 Y=1Y=1 的概率。如果满足

E[Y∣P]=Palmost surely.\mathbb{E}[Y\mid P]=P \quad\text{almost surely}.

则称该预测器完全校准。

这里,条件期望值是指被赋予相同概率的样本中,事件发生的频率。一种等价的非正式表达是

Pr⁡(Y=1∣P=p)=p,\Pr(Y=1\mid P=p)=p,

其中,概率值须处于预测器输出分布的支撑集内;当 PP 连续时,这一表达应通过条件分布来解释。

校准是预测结果及其评估所针对的总体共同具有的性质,而不只是拟合后模型自身的性质。同一个模型可能在一个总体中校准良好,在另一个总体中却校准不佳。

一个相关但更弱的条件有时称为总体均值校准(calibration-in-the-large),即

E[P]=E[Y].\mathbb{E}[P]=\mathbb{E}[Y].

这一条件要求平均预测概率与总体事件频率一致,但并不保证每个概率水平上的预测都可靠:一个区间内的高估可能抵消另一个区间内的低估。

多分类预测

在多分类中,模型返回概率向量 P=(P1,…,PK)\mathbf{P}=(P_1,\ldots,P_K),其中各分量均非负,且总和为一。常用的校准条件有以下几种:

  • **全向量校准:**对于每个类别 kk,

    Pr⁡(Y=k∣P)=Pk.\Pr(Y=k\mid \mathbf{P})=P_k.
  • **逐类别校准:**对于每个类别 kk,

    Pr⁡(Y=k∣Pk)=Pk.\Pr(Y=k\mid P_k)=P_k.
  • **最高概率类别的置信度校准:**若 Y^\widehat{Y} 是选定的类别,且 C=max⁡kPkC=\max_k P_k,则

    Pr⁡(Y=Y^∣C)=C.\Pr(Y=\widehat{Y}\mid C)=C.

全向量校准蕴含逐类别校准和最高概率类别的置信度校准,但这些较弱的条件通常并不蕴含全向量校准。尤其是,置信度与所选类别的准确率相符,并不能充分说明赋予其余类别的概率是否可靠。

校准、区分能力与锐度

区分能力是指区分具有不同结果的样本的能力。例如,即使模型估计的概率偏高,它仍可能将正例排在负例之前。对二分类预测得分进行严格递增变换会保留其排序,却可能显著改变校准程度。

锐度描述预测分布的集中程度或明确程度。在二元预测中,接近零或一的概率比接近事件基准发生率的概率更具锐度。只有以良好校准为基础时,锐度才是可取的。

这些区别说明,仅有校准并不足以产生有用的预测。假设事件发生频率为 20%。一个对每个样本都预测 0.2 的模型在总体层面上是校准的,但它没有提供任何针对具体样本的区分能力。信息量更大的模型可以为不同样本赋予不同概率,同时在每个预测分组内保持校准。

校准也不要求预测完全正确。被赋予 0.1 概率的事件仍可能发生,这并不意味着预测无效。关键在于,在一系列可比的预测中,被赋予这一概率的事件是否大致按所述比例发生。

评估

评估校准时,应使用既未用于拟合模型、也未用于拟合校准器的数据中的观测结果。测试集提供的是对总体校准程度的估计,而非确凿证明。罕见结果以及样本稀少的概率区间可能带来相当大的统计不确定性。

可靠性图

可靠性图也称校准图,用于比较预测概率与经验事件频率。一种常见做法是将预测结果划分为若干箱,并为每个箱绘制:

  • 平均预测概率;
  • 观测到的正例比例。

完全校准对应于对角线。对于二分类中的正类概率,对角线下方的点表示高估了事件发生概率,上方的点则表示低估。对于以最高概率类别的置信度和准确率绘制的图,对角线下方的点表示过度自信。

等宽分箱易于解释,但各箱中的观测数量可能差异很大。等频分箱使观测分布得更均匀,却可能掩盖较宽概率区间内的变化。各箱的样本数和不确定性区间有助于区分系统性偏差与抽样噪声。

期望校准误差

一种广泛使用的汇总指标是期望校准误差(ECE)。对于分箱 B1,…,BMB_1,\ldots,B_M,其二元事件概率版本为

ECE⁡=∑m=1M∣Bm∣n∣1∣Bm∣∑i∈Bmyi−1∣Bm∣∑i∈Bmpi∣,\operatorname{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \frac{1}{|B_m|}\sum_{i\in B_m}y_i - \frac{1}{|B_m|}\sum_{i\in B_m}p_i \right|,

其中忽略空箱。

在多分类评估中,ECE 往往改为比较最高概率类别的平均置信度与经验分类准确率。因此,比较所报告的结果时,必须注意其具体定义。

ECE 取决于分箱边界、分箱数量、所评估的预测量以及样本量。粗分箱可能掩盖方向相反的误差,而细分箱可能放大抽样噪声。标准的分箱 ECE 通常不是总体校准误差的无偏估计,而且有限样本效应并不一定都朝同一方向作用。

正当评分规则

正当评分规则评估整个概率预测;报告真实概率时,其期望评分达到最优。两个常见例子如下,均以需要最小化的损失表示:

  • 布里尔评分,用于二元结果:

    BS⁡=1n∑i=1n(pi−yi)2.\operatorname{BS} = \frac{1}{n}\sum_{i=1}^{n}(p_i-y_i)^2.
  • 对数损失,也称负对数似然:

    LogLoss⁡=−1n∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)].\operatorname{LogLoss} = -\frac{1}{n}\sum_{i=1}^{n} \left[y_i\log p_i+(1-y_i)\log(1-p_i)\right].

这些评分并不是纯粹的校准指标:它们也奖励信息量大的预测。对于实际发生的结果,如果模型赋予其极小的概率,对数损失会给予很强的惩罚。

在总体层面,记 m(P)=E[Y∣P]m(P)=\mathbb{E}[Y\mid P],则二元布里尔评分可分解为

E[(P−Y)2]=E[(P−m(P))2]⏟reliability−Var⁡(m(P))⏟resolution+Var⁡(Y)⏟uncertainty.\mathbb{E}[(P-Y)^2] = \underbrace{\mathbb{E}[(P-m(P))^2]}_{\text{reliability}} - \underbrace{\operatorname{Var}(m(P))}_{\text{resolution}} + \underbrace{\operatorname{Var}(Y)}_{\text{uncertainty}}.

可靠性项衡量校准偏差的平方。分辨率项衡量不同预测所对应的条件事件频率有多大差异,而不确定性项则取决于结果的基准发生率。基于分组预测进行经验分解时需要谨慎,因为分箱可能改变这些量。

校准方法

校准方法可以修改模型训练过程,也可以在训练后拟合一个额外的变换。事后校准通常保持基础预测器不变,学习从模型得分到概率的映射。

普拉特缩放

普拉特缩放为标量得分 ss 拟合一个 sigmoid 函数:

pcal=σ(as+b),σ(t)=11+e−t.p_{\mathrm{cal}}=\sigma(as+b), \qquad \sigma(t)=\frac{1}{1+e^{-t}}.

参数通过带标签的校准数据估计,通常采用最小化对数损失的方法。这种方法最初用于支持向量机,也可应用于其他输出得分的模型。

由于参数少,它在数据利用方面相对高效,但 sigmoid 函数可能无法表示更复杂的校准误差。拟合出的变换若严格递增,就会保留排序;若不加约束而得到负斜率,则会使排序反转。

保序回归

保序回归拟合从得分到概率的非递减映射,而不假设映射具有 sigmoid 形状。它比普拉特缩放更灵活,通常产生阶梯函数。

这种灵活性一般需要更多校准数据。小样本可能导致过拟合,而平坦区间会产生相同的预测值。保序回归保留的是弱序关系,并不一定保留每一对预测之间的严格排序。

温度缩放

温度缩放广泛用于人工神经网络。给定各类别的 logit 值 zkz_k,其定义为

pk(T)=exp⁡(zk/T)∑j=1Kexp⁡(zj/T),T>0.p_k(T) = \frac{\exp(z_k/T)} {\sum_{j=1}^{K}\exp(z_j/T)}, \qquad T>0.

温度大于一会使预测分布变得平缓;温度小于一则使其更尖锐。温度通常通过最小化留出数据上的负对数似然来拟合。

使用单个正温度参数不会改变所选类别,因此首选类别(top-1)的分类准确率保持不变。不过,它仍能显著改变概率预测的质量。其局限在于表达能力:一个标量无法纠正任意的类别特异性校准误差,也无法纠正任意依赖输入的校准误差。

其他方法

直方图方法为各得分区间赋予校准后的概率。更灵活的方法包括用于二元概率的贝塔校准,以及对多分类 logit 值进行向量或矩阵变换。更高的灵活性可以表示更复杂的误差,但也会增加数据需求和过拟合风险。

训练阶段的方法会修改损失函数、引入校准惩罚项,或改变模型的正则化方式。集成学习在某些情形下可以改善概率估计,但无论是集成,还是任何特定的训练过程,都不能保证校准。

数据划分与评估设计

校准器本身也是一个需要拟合的统计模型。如果使用最终评估所用的同一批预测来拟合校准器,可能得到过于乐观的结果。

典型的设计会划分出:

  1. 用于拟合预测器的训练数据。
  2. 用于选择或拟合校准变换的验证集或校准集。
  3. 用于评估最终系统的独立评估集。

数据有限时,可以通过交叉验证生成折外预测,用于校准。模型选择和校准方案的选择仍须与最终评估分开,以避免数据泄漏。

校准数据还必须能够代表预期的预测总体。类别平衡处理、依赖结果的抽样、选择性标注,或事件发生率的变化,都可能使观测频率不同于部署时遇到的频率。

分布偏移与子群校准

校准不会在分布偏移下自动保持。事件发生率、输入分布或输入与结果之间关系的变化,都可能使先前学到的校准映射失效。一般而言,固定的变换无法纠正数据生成过程中的所有可能变化。

总体层面的校准也可能掩盖子群误差。预测器可能在整个总体上校准良好,却对某个群体高估事件概率,对另一个群体低估事件概率。在相关群体或输入空间的相关区域内评估校准,可以揭示这些差异,不过小样本会限制评估的精度。

不同的统计公平性标准可能相互冲突。当不同群体的基准发生率不同,且预测并不完美时,某些校准要求和错误率均等要求通常无法同时满足。因此,总体校准本身并不能证明系统公平,也不能证明其适合某种特定用途。

历史发展与应用

校准起源于概率预报领域,包括天气预报以及对概率判断的统计评估。1950 年提出的布里尔评分成为评估这类预报的重要工具。后续研究发展出了可靠性图,以及将校准与分辨率分离的分解方法。

机器学习的发展带来了针对分类器的校准方法,因为分类器的输出未必是可靠的概率。普拉特缩放于 1999 年出现在支持向量机相关研究中。2017 年一项关于现代神经网络的研究指出,在当时的若干分类场景中,模型存在明显的过度自信问题,并推动了温度缩放作为一种简单事后校准方法的普及。

经过校准的概率可以支持依赖事件发生率估计、而非仅依赖排序的决策。应用包括预测、欺诈检测、异常检测,以及将不确定样本交由后续环节处理的系统。在一个简单的二元决策模型中,若假阳性成本为 CFPC_{\mathrm{FP}},假阴性成本为 CFNC_{\mathrm{FN}},正确决策的成本为零,则在以下条件下,预测为正类可使期望成本最小:

p>CFPCFP+CFN.p> \frac{C_{\mathrm{FP}}} {C_{\mathrm{FP}}+C_{\mathrm{FN}}}.

这说明,即使排序或分类边界保持不变,概率数值的准确性仍可能十分重要。

对于大语言模型,校准取决于所预测的事件。下一个词元的概率、答案正确的概率,以及用语言表达的置信程度,涉及的是不同的量。其中一项经过校准,并不能证明其余各项也经过校准。答案层面的评估还取决于如何定义正确性、等价答案和部分得分。