布里尔评分是一种用于评价概率预测的损失函数。对于二元事件,它是事件的预测概率与实际结果之差的平方的平均值;事件发生时,实际结果记为 1,否则记为 0。评分越低,预测表现越好。气象学家 Glenn W. Brier 于 1950 年提出了这一指标,如今它广泛应用于天气预报、统计学和机器学习。它是一种严格适当评分规则:从期望意义上说,预测者如实给出事件发生的真实概率,就能使评分最小。
定义
对于 次二元预测,令 为事件的预测概率, 为事件的实际结果。二元布里尔评分定义为
因此,它就是应用于概率预测和二元结果的均方误差。
按照这一定义,
评分为 0,表示每次预测都给实际发生的结果赋予了概率 1。评分为 1,表示每次预测都给与实际结果相反的结果赋予了概率 1。始终给出 的固定概率预测,无论实际结果如何,评分都为 。
例如,考虑以下降雨预测:
| 预测概率 | 实际结果 | 平方误差 |
|---|---|---|
| 降雨, | ||
| 未降雨, | ||
| 降雨, |
布里尔评分为
单次预测的平方误差不足以判断其概率估计是否准确。一个被赋予 概率的事件仍然可能发生,这并不意味着该概率有误;评价概率预测,需要考察其在多次预测中的表现。
为什么如实报告概率能使评分最小
假设结果 服从伯努利分布,事件发生的真实概率为 。如果预测者报告的概率为 ,则损失的期望值为
第二项与预测无关。第一项仅在 时达到最小值,这就证明了该评分规则的严格适当性。
这一恒等式还区分了期望误差的两个来源:
- 概率估计误差: ,由报告的概率与真实概率不同而产生。
- 不可消除的结果不确定性: ,即二元结果的方差。
因此,即使是理想的预测者,其布里尔评分的期望值通常也大于零。只有当结果可以被完全确定地预测时,期望损失才可能为零。
如果 表示作出预测时可用的信息,则最优预测为
这是一个条件概率。在相同的信息集下,
这为使用平方误差来学习概率预测提供了理论依据,不过仍须对拟合模型施加约束,或采用适当的模型构造,以确保输出有效的概率。
多类别形式与尺度约定
对于 个互斥且穷尽所有可能结果的类别,令 为第 个样本属于类别 的预测概率,满足
令 为表示实际结果是否属于类别 的示性函数。一种标准的多类别定义为
它是预测概率向量与实际结果的指示向量之间欧几里得距离平方的平均值,取值范围为 。
Brier 最初提出的形式采用了这种对各类别求和的方式。对于两个类别,它等于二元评分的两倍:
因此,“布里尔评分”既可能指取值范围为 的二元形式,也可能指对各类别求和的形式。有些实现还会进一步归一化。只有采用相同的尺度约定,所报告的数值才具有可比性。
普通的多类别评分对各类别标签一视同仁,不考虑类别之间的顺序,例如“低”“中”“高”。相比之下,排序概率评分比较的是各类别的累积概率,专门用于有序类别。
校准、分辨力与不确定性
布里尔评分评价的不仅是校准程度。对于能够区分事件发生频率不同的情形的预测,它也会给予更好的评分。一种广泛使用的分解方法源于 Allan H. Murphy 于 1973 年的研究,将评分分为可靠性、分辨力和不确定性三部分。
假设预测概率只取 这些不同的值。对于预测组 ,令:
- 为样本数量;
- 为观测到的事件发生频率;
- 为全部 个样本中的事件发生频率。
则有
其中
以及
可靠性
可靠性衡量预测概率与观测频率的一致程度。例如,在预测概率为 的样本中,事件发生频率接近 ,说明该预测值的校准情况良好。可靠性误差越低越好。
分辨力
分辨力衡量条件事件发生频率与总体事件发生频率的差异程度。分辨力越高越好:这意味着预测能够识别出结果概率存在实质差异的样本组。
始终将总体事件发生率作为预测概率的预测者,可以具有良好的校准性,却没有分辨力。因此,仅凭校准性并不能认定预测表现优良。
不确定性
不确定性只取决于总体事件发生频率,与预测无关。事件发生率为 时,不确定性最大;当事件变得非常罕见或非常常见时,不确定性随之降低。
当每组内的预测值完全相同时,上述有限样本恒等式严格成立。如果将连续变化的预测值分箱,并用各箱均值代表该箱中的预测,那么通常的三项计算结果未必恰好等于原始评分。分箱还会影响可靠性和分辨力的估计,尤其是在小样本中。
在总体层面,如果 为预测概率, 为条件期望,则相应的恒等式为
布里尔技巧评分
布里尔技巧评分表示相对于参考预测的改进程度:
前提是参考预测的评分大于零。
其含义如下:
- :预测完全准确;
- :与参考预测的评分相同;
- :表现差于参考预测。
一种常用的参考预测,是始终以气候统计或历史记录中的事件发生频率作为预测概率。如果参考预测采用的是从评估样本本身计算出的事件发生频率,那么它的二元布里尔评分恰好为 。使用独立估计的历史频率,通常会得到不同的参考评分。
技巧评分取决于参考预测和评估样本,因此解释它时必须明确所用的基准。参考评分为零时,该比值没有定义。
应用及与其他指标的比较
在天气预报中,布里尔评分用于评价降水或超过某一阈值等事件的预测概率。在机器学习中,它用于评价概率分类器,包括逻辑回归模型和人工神经网络。
与分类准确率或F值不同,它直接评价概率,而不是选定阈值后得到的类别标签。两个模型可能给出完全相同的类别预测,却因为置信程度不同而得到不同的布里尔评分。
一种常用的替代指标是二元对数损失,也称为交叉熵:
两者都是严格适当的评分规则,但对误差的惩罚方式不同。布里尔评分是有界的;而当预测给实际发生的结果赋予趋近于零的概率时,对数损失可以任意大。
作为训练目标,布里尔评分是所报告概率的光滑二次函数。它相对于模型参数的表现取决于参数化方式。例如,将它与逻辑变换复合后,对于高度自信但错误的预测,可能产生很小的梯度;交叉熵则具有不同的梯度结构。
局限性与解释
依赖事件发生频率。 对于事件发生率不同的数据集,原始评分不能直接用来比较预测技巧。对于极罕见的事件,即使固定概率预测无法区分高风险和低风险样本,也可能获得很小的评分。
诊断信息不完整。 单个数值无法揭示误差主要来自校准不佳,还是分辨力不足。校准图和评分分解可以提供补充信息。
抽样不确定性。 经验布里尔评分是对预测表现的一种估计。交叉验证可用于样本外评估,而在满足相应抽样假设时,自助采样方法可帮助量化不确定性。对于时间序列或分组聚集数据集内部的相关性,需要采用将这种相关性考虑在内的评估设计。
依赖评估总体。 即使预测方法保持不变,事件发生率或样本构成的变化也可能使评分发生变化。
对权重敏感。 为样本赋予不相等的权重,会改变所评估的总体或分布。依赖实际结果的权重还可能破坏评分规则对原始事件概率的适当性,除非对评分规则作出恰当调整。
不直接体现决策成本。 布里尔评分评价的是概率预测,而不是根据预测采取行动所带来的后果。在决策理论中,最优行动还取决于效用、成本以及可用的备选方案。较低的布里尔评分,并不意味着在所有成本结构下都能作出更好的决策。