连续排序概率评分(CRPS)是一种适当评分规则,用于评价以概率分布形式给出的实值结果预测。它衡量预测的累积分布与观测值所对应的累积分布之间的差异,评分越低越好。与针对点预测的评分不同,CRPS 评价整个预测分布,包括其位置和离散程度。它广泛用于天气预报,以及其他涉及连续数值或有序数值的概率预测应用。
定义
设 F 为预测的累积分布函数,y 为观测结果。CRPS 定义为
CRPS(F,y)=∫−∞∞(F(z)−1{y≤z})2dz,
其中,1{⋅} 为示性函数。
将 1{y≤z} 视为 z 的函数时,它就是全部概率集中于 y 的分布的累积分布函数。因此,CRPS 是预测累积分布函数与实际观测值对应的累积分布函数之差的平方积分。
其等价表达式为
CRPS(F,y)=∫−∞yF(z)2dz+∫y∞[1−F(z)]2dz.
这一形式表明,当实际观测值较大时,评分会惩罚分配在观测值以下的预测概率;当实际观测值较小时,则会惩罚分配在观测值以上的预测概率。
该评分非负,且当且仅当预测将全部概率赋予观测值时为零。一阶绝对矩有限,是保证评分有限以及下文基于期望的公式成立的一个常用充分条件。
尽管名称中有“连续”一词,CRPS 并不要求预测分布是连续分布:它同样适用于实数轴上的离散分布和混合分布。
等价表示
绝对距离的期望
设 X 和 X′ 是服从分布 F 的相互独立的随机变量。若 E∣X∣<∞,则
CRPS(F,y)=E∣X−y∣−21E∣X−X′∣.
这里,E 表示期望值。第一项衡量从预测分布中抽取的样本与观测值之间的平均绝对距离;第二项则对预测分布的离散程度作出调整。
这一调整使 CRPS 区别于对预测样本的绝对误差简单取平均。若没有这一项,最小化期望评分会倾向于将全部概率集中在结果分布的某个中位数上,而不是如实表征不确定性。
阈值评分的积分
对于任意阈值 z,事件 Y≤z 的预测概率为 F(z),其观测结果为 1{y≤z}。因此,
(F(z)−1{y≤z})2
就是该二元事件的布里尔评分。CRPS 对所有阈值上的这些二元评分进行积分。
这一解释将数值结果的评价与其对应的所有超阈值或不超阈值事件的评价联系起来。
分位数损失的积分
设 F−1(τ) 表示广义分位数函数,并将分位数损失(又称弹球损失)定义为
ρτ(u)=u(τ−1{u<0}).
则有
CRPS(F,y)=2∫01ρτ(y−F−1(τ))dτ.
因此,CRPS 既可以视为对阈值的积分,也可以视为对分位水平的积分。当预测模型输出的是分位数而不是密度或累积分布函数时,后一种表示尤其有用。
适当性与解释
如果报告结果的真实分布能够使期望评分最小,则称该评分规则是适当的。如果该分布是唯一的最小化解,则称其为严格适当的。
假设真实分布为 G,且 F 和 G 的一阶绝对矩均有限,则
EY∼GCRPS(F,Y)−EY∼GCRPS(G,Y)=∫−∞∞[F(z)−G(z)]2dz.
右侧非负,且仅当 F=G 时为零。因此,CRPS 在这类分布上是严格适当的。
期望评分也可以写为
EY∼GCRPS(F,Y)=∫−∞∞[F(z)−G(z)]2dz+∫−∞∞G(z)[1−G(z)]dz.
第二项表示结果分布固有的不确定性,与预测无关。因此,即使预测分布正确,只要它不是退化分布,其期望评分仍为正。
严格适当性描述的是对各种结果取期望后的表现。对于某个特定观测值,错误的预测可能比正确的预测表现更好。因此,评价时通常会对多个预测—观测对的评分取平均。
与点预测误差的关系
如果预测将概率一赋予点 x,则
CRPS(F,y)=∣x−y∣.
因此,CRPS 将点预测的绝对误差推广到了分布预测。
它与预测量具有相同的物理单位。对于变换后的变量 aX+b,有
CRPS(FaX+b,ay+b)=∣a∣CRPS(FX,y).
因此,不同尺度下测量的量,其原始评分不能直接比较。
计算
有限集合预报
对于等权重集合 x1,…,xm,将其视为经验预测分布,有
CRPS(Fm,y)=m1i=1∑m∣xi−y∣−2m21i=1∑mj=1∑m∣xi−xj∣.
这一表达式对于经验分布是精确的。直接计算成对距离项需要平方量级的计算量,但将集合成员排序后可得
CRPS(Fm,y)=m1i=1∑m∣xi−y∣−m21i=1∑m(2i−m−1)x(i),
其中,x(i) 为排序后的成员。由此得到的计算方法时间复杂度为 O(mlogm)。
对于总和为一的非负权重 wi,有
CRPS(F,y)=i∑wi∣xi−y∣−21i,j∑wiwj∣xi−xj∣.
需要区分一种情况:集合成员是用于近似某个底层分布的独立抽样,而不是将该集合本身视为待评价的预测分布。此时,底层分布 CRPS 的无偏估计量为
CRPSfair=m1i∑∣xi−y∣−2m(m−1)1i=j∑∣xi−xj∣,m>1.
这一修正需要适当的抽样假设,并非天然适用于成员相互依赖或具有其他结构的集合。
正态分布预测
对于均值为 μ、标准差为 σ>0 的正态分布,定义
a=σy−μ.
若 Φ 和 ϕ 分别为标准正态分布的累积分布函数和概率密度函数,则
CRPS(F,y)=σ[a(2Φ(a)−1)+2ϕ(a)−π1].
其他多种分布族也有相应的闭式表达式。若没有,则可以利用定义中的积分、分位数表示或样本表示进行数值计算。
应用
CRPS 用于比较概率天气预报、水文预报、经济预测和时间序列模型。它也可以用于评价贝叶斯建模中的后验预测分布。
对于预测—观测对 (Ft,yt),通常用下式概括其表现:
CRPS=n1t=1∑nCRPS(Ft,yt).
与之相关的连续排序概率技巧评分用于将模型与参考预测进行比较:
CRPSS=1−CRPSreferenceCRPSmodel,
前提是分母为正。正值表示优于参考预测;零表示平均评分相同;负值表示表现更差。
CRPS 也可以作为估计预测分布参数的损失函数。最小化经验 CRPS 是最大似然估计之外的一种选择。两者的优化目标不同,因此得到的参数估计不一定相同。
扩展与局限
阈值加权
阈值加权版本为
twCRPS(F,y)=∫−∞∞w(z)(F(z)−1{y≤z})2dz,
其中,w(z)≥0 是预先固定的权重,不依赖于实际观测结果。它可以突出与异常偏高或偏低结果相关的阈值。
在适当的可积性条件下,这种构造仍具有适当性。不过,如果某个区域内的权重为零,就可能无法识别分布在该区域内的差异,从而失去对整个分布的严格适当性。简单地根据观测结果对普通评分加权,通常不能保持适当性。
多变量结果
普通 CRPS 针对的是单个实值变量。分别对多个变量评分,可以评价其边缘分布,却不能充分评价变量之间的依赖关系。
能量评分通过将绝对距离替换为欧几里得距离,给出了一种多变量扩展:
ES(F,y)=E∥X−y∥−21E∥X−X′∥.
在一维情况下,它就是 CRPS。在更高维度中,它对依赖关系误差的敏感性可能有限,因此采用补充评价方法会有所帮助。
诊断方面的局限
单一的平均 CRPS 无法揭示预测误差主要来自位置、离散程度还是尾部行为。不同预测系统可能获得相近的评分,却存在不同类型的误差。
也应将 CRPS 与独立的校准检验区分开来。其严格适当性意味着正确分布在期望意义上会获得更好的评分,但仅凭有限样本的评分,不能证明预测概率与观测频率一致。
由于普通 CRPS 对各阈值上的差异进行均匀积分,其他区域的表现可能掩盖对罕见极端事件的预测表现。此外,汇总评分取决于所评价的案例:预测时距、结果变异性或案例构成的变化,都可能改变平均 CRPS,而不代表预测能力发生了同等变化。样本外评价,包括设计合理的交叉验证,可以将预测评价与样本内拟合区分开来。