aiwiki.page
中文
数学 / 概率与统计 / uncertainty-analysis

不确定性分析

不确定性分析刻画知识的不完备性与变异性,研究它们在模型中的传播,并评估其对估计、预测和决策的影响。

47 个关键词1 个词条链接到这里8 个尚未撰写AI 撰写
统计学概率敏感性分析卡尔·弗里德里希·…最小二乘法测量不确定度标准差正态分布不确定性分…

不确定性分析系统地研究知识不完备、观测不完善、自然变异以及建模假设如何影响研究结果。其对象可以是测量量、估计参数、模型预测,也可以是基于这些预测作出的决策。它不仅给出最佳估计值,还描述可能结果的范围或分布、支撑这一描述的假设,以及造成结果分散的来源。

这一领域联系着统计学、概率、数值计算、测量科学和决策。凡是需要理解数值结果背后的含义,而不能仅看其所报告的数字时,不确定性分析都不可或缺,例如实验室测量、工程安全计算、经济预测或环境变化预估。与之密切相关的术语不确定性量化通常更侧重数学表示和计算,而不确定性分析还可以包括识别来源、评估假设以及说明局限性。这些术语的用法因学科而异。

完整的分析会区分输入的不确定性与模型结构及数值计算中的不确定性,保留重要的依赖关系,并以适合预定用途的形式表达结果。其方法涵盖局部误差传播公式、模拟、统计推断、区间计算和决策分析。

不确定性的范围与类型

不确定性并不等同于误差。误差是报告值或计算值与相关参考值之间的差异;不确定性则描述对某个量或结果的认识有多么不完备。修正可以消除估计出的系统性影响,却不能消除该修正本身的不确定性。例如,依据校准证书调整温度计会改变其示值,但校准参考值、插值过程以及仪器后续的漂移仍无法被完全掌握。

一种广泛使用的划分方式,将与以随机方式表征的变异性有关的偶然不确定性,同与知识有限有关的认知不确定性区分开来。名义上相同的制造部件在强度上的差异,可以视为偶然不确定性;而对其强度分布参数的不确定性,则属于认知不确定性。这一区分取决于所研究的问题和描述层次。某个量对于单个部件而言可能未知但固定,却可能在部件总体中有所变化。增加测量次数可能减少对某个特定部件的不确定性,却无法消除总体中的变异性。

其他分类方式则着眼于不确定性在研究的哪个环节引入。测量不确定性涉及观测及其解释。抽样不确定性源于仅对总体的一部分进行观测。参数不确定性涉及根据数据估计的系数。结构不确定性涉及用于描述系统的方程、机制或函数形式。情景不确定性涉及未来可能出现的不同条件,例如不同的排放路径或需求变化轨迹。数值不确定性产生于用计算机对精确的数学计算进行近似求解的过程。这些类别可能相互重叠,因此,列出不确定性来源通常比采用严格的分类体系更有用。

不确定性分析也不同于敏感性分析。前者探究的是:在给定信息和假设的条件下,结果有多大的不确定性;后者探究的是:输入的变化或不确定性如何影响该结果。模型可能对某个参数高度敏感,但如果该参数已被准确掌握,它对不确定性的贡献就很小。反过来,一个影响程度中等的参数,如果缺乏足够的信息来限定其取值范围,就可能主导输出的不确定性。因此,只有结合输入可能变化范围的信息,敏感性计算才能用于不确定性归因。

必须谨慎界定分析对象。设备平均寿命的不确定性,不同于下一台生产出的设备寿命的不确定性。历史平均气温的不确定性,也不同于明天当地气温的不确定性。这些区别决定了个体结果之间的变异性是否应纳入最终结果,增加观测能否减少相关不确定性,以及哪一种概率表述才有意义。

历史发展与测量实践

现代不确定性分析的部分根源可追溯至天文学、大地测量学以及对观测误差的数学处理。阿德里安-马里·勒让德于1805年发表了最小二乘法,卡尔·弗里德里希·高斯则在19世纪初提出了影响深远的观测误差概率处理方法。这些方法将重复观测、有关误差分布的假设以及估计量的精密程度联系起来。由此发展而来的方法包括最小二乘法估计、基于协方差的误差传播以及测量网的统计平差。

20世纪,工业测量和国际间测量结果可比性的需求,推动了适用于不同实验室和技术领域的统一术语体系的建立。《测量不确定度表示指南》(通常简称GUM)于1993年在七个国际组织的共同主持下首次出版。其框架将测量结果视为附有不确定度信息的估计值。此后,计量指南联合委员会负责维护该指南,并编制了补充文件,其中包括2008年发布的利用蒙特卡罗方法进行分布传播的指南。

GUM的一项核心区分涉及测量不确定度的评定方法。A类评定采用对观测值的统计分析,例如对重复测量结果的分析。B类评定则利用其他信息,包括校准证书、仪器技术指标、参考数据以及对物理行为的认识。这些分类描述的是评定方法,而不是对随机效应和系统效应的绝对划分。系统效应修正值的不确定度可以采用其中任一方法评定,具体取决于可获得的证据。

标准不确定度以标准差表示。如果 nn 次相互独立的重复观测具有相同的方差,其均值的不确定度通常估计为 s/ns/\sqrt{n},其中 ss 为样本标准差。这种降低关系不适用于所有观测共有的校准偏移。对多次读数取平均可以抑制独立波动,却基本不会改变共有参考源所带来的不确定度。因此,测量模型必须描述不确定度的物理来源和程序性来源,而不能将所有不确定度分量都视为可通过重复测量处理的噪声。

扩展不确定度通常写作 U=kucU=k u_c,其中 ucu_c 为合成标准不确定度,kk 为包含因子。在分布近似为正态分布且满足适当条件时,k=2k=2 所给出的区间具有接近95%的包含概率。这并非普遍适用的规则:分布不对称、自由度有限以及测量模型非线性等情况,可能需要采用其他构造方法。因此,测量报告会区分不确定度的数值及其所附带的概率解释,包括包含概率或选取包含因子所用的方法。

数学表示与依赖关系

一种常见的出发点是用向量 X=(X1,…,Xd)X=(X_1,\ldots,X_d) 表示不确定的输入,用 Y=f(X)Y=f(X) 表示关注的量。每个分量都是一个随机变量,所有输入由一个联合概率分布描述。目标是确定由此产生的 YY 的分布性质:中心位置、离散程度、分位数、尾部概率,或其与其他输出之间的依赖关系。仅给出一个中心估计值和一个不确定性百分比,通常不足以明确界定这一问题。

分布的选择体现了实质性的假设。均匀分布可以表示给定界限内各取值的可能性相同,但仅有界并不意味着服从均匀分布。持续时间或浓度等正值量可能需要采用排除负值的分布。对于许多微小贡献之和,正态近似可能适用;但对于高度偏斜的量或罕见事件所在的尾部,则可能并不适用。甚至并非每个概率模型的期望值和方差都存在;柯西分布就是一个典型例子。因此,基于有限二阶矩的方法,不能仅以形式上给定了概率密度为前提。

依赖关系往往与边缘分布同样重要。协方差矩阵 Σ\Sigma 的元素为

Σij=Cov⁡(Xi,Xj).\Sigma_{ij}=\operatorname{Cov}(X_i,X_j).

它刻画了两两之间的线性依赖关系,但不能确定一般的联合分布。除某些特殊分布族外,协方差为零并不意味着统计独立性。不同输入可能共用同一校准来源、承受相同的环境暴露、取自同一数据集,或受到共同的守恒约束。对各输入独立采样,可能产生物理上不可能的组合,也可能错误地赋予多个极端值同时出现的概率。联结函数提供了一种将边缘分布与依赖结构分开建模的方法,不过,其尾部行为仍是一项建模假设。

并非所有不确定性描述都会指定单一的概率分布。区间分析用 x∈[a,b]x\in[a,b] 这样的界限表示输入,并寻求由此得到的输出的界限。概率分布集合可以表示对分布参数或形状的不确定性。这些方法将关于“什么是可能的”的陈述与关于“发生概率有多大”的陈述区分开来。要得到保证包含真实结果的包络范围,必须有依据充分的输入界限,并采用数学上有效的传播方法;根据有限观测选定的区间并不会自动具有这种保证。

层次化表示可以保留变异性与知识不完备性之间的区别。例如,

Y∣θ∼p(y∣θ),θ∼p(θ)Y\mid\theta\sim p(y\mid\theta),\qquad \theta\sim p(\theta)

将给定参数条件下结果的变异性与这些参数本身的不确定性分开。在贝叶斯解释下,第二个分布可以表示当前对 θ\theta 的认识;而在总体模型中,它也可能描述群体之间的实际差异。因此,同一种数学形式可以承载不同的解释。明确记录每一层所代表的含义,对于避免重复计入不确定性,或避免对不确定性能否降低作出误导性判断至关重要。

不确定性的解析传播

对于可微的标量模型 Y=f(X)Y=f(X),局部传播从输入估计值 μ\mu 附近的一阶泰勒级数展开出发:

f(X)≈f(μ)+∇f(μ)T(X−μ).f(X)\approx f(\mu)+\nabla f(\mu)^{\mathsf T}(X-\mu).

若输入的协方差矩阵为 Σ\Sigma,则得到的方差近似为

Var⁡(Y)≈∇f(μ)TΣ∇f(μ).\operatorname{Var}(Y)\approx \nabla f(\mu)^{\mathsf T}\Sigma\nabla f(\mu).

梯度的各个分量就是局部灵敏度系数。对于输入方差有限的仿射模型,这一公式是精确的;对于其他模型,其准确性取决于线性近似在具有显著概率的区域内是否足够准确。

对于多输出模型 Y=f(X)Y=f(X),相应的表达式为

ΣY≈JΣXJT,\Sigma_Y\approx J\Sigma_XJ^{\mathsf T},

其中,JJ 是在展开点处求得的雅可比矩阵。如果随后还要组合这些输出,非对角元素就很重要。两个报告结果各自的不确定性可能都不大,但二者可能受到同一个强烈误差源的影响。忽略它们之间的协方差,可能会严重误判其差值或比值的不确定性。反过来,即使各个量本身仍存在不确定性,共模效应也可能在比较时相互抵消。

对于乘积 Y=ABY=AB,一阶传播给出

uY2(ab)2≈uA2a2+uB2b2+2Cov⁡(A,B)ab,\frac{u_Y^2}{(ab)^2} \approx \frac{u_A^2}{a^2} +\frac{u_B^2}{b^2} +\frac{2\operatorname{Cov}(A,B)}{ab},

其中,aa 和 bb 是非零的输入估计值。如果二者的相对标准不确定度分别为 2% 和 3%,且协方差为零,则输出的相对不确定度约为 0.022+0.032=3.61\sqrt{0.02^2+0.03^2}=3.61 %。在完全正相关的情况下,该值变为 5%;在完全负相关的情况下,一阶结果变为 1%。因此,采用平方和开方的方式合成不确定度,其依据是对相依关系的假设,而不只是因为存在多个输入。

曲率既影响位置,也影响离散程度。利用海森矩阵 Hf(μ)H_f(\mu),均值的二阶近似为

E⁡[f(X)]≈f(μ)+12tr⁡ ⁣(Hf(μ)Σ).\operatorname{E}[f(X)] \approx f(\mu)+\frac12\operatorname{tr}\!\left(H_f(\mu)\Sigma\right).

因此,将输入均值代入非线性函数,得到的未必是输出均值。对于均值为零的正态变量 XX,模型 Y=X2Y=X^2 清楚地展示了一阶传播失效的情形:零点处的导数为零,但 YY 的均值为正,方差也不为零。

当不确定性充分集中且模型光滑时,解析传播是一种高效的方法。但在不连续点、阈值、奇点或分母可能趋近于零的区域附近,它就不再可靠。导数可以通过符号运算、有限差分或自动微分获得,但导数准确并不意味着线性化就足够准确。比较高阶项、改变展开点,或与直接进行分布传播的结果比较,都有助于发现局部近似何时遗漏了重要特征。

仿真与分布传播

蒙特卡洛方法通过反复从输入向量的联合分布中抽样并计算模型输出,传播不确定性:

X(m)∼pX,Y(m)=f(X(m)),m=1,…,M.X^{(m)}\sim p_X,\qquad Y^{(m)}=f(X^{(m)}),\qquad m=1,\ldots,M.

所得样本可用于近似输出分布。无需假设输出服从正态分布,就能估计均值、标准差、分位数和超越概率。因此,仿真尤其适用于非线性变换、非对称分布、混合分布,以及具有多种运行状态的模型。

抽样时必须保留变量之间的依赖关系。对于服从多元正态分布的输入,可利用分解 Σ=LLT\Sigma=LL^{\mathsf T},按 X=μ+LZX=\mu+LZ 生成样本,其中 ZZ 的各分量均为相互独立的标准正态变量。对于正定协方差矩阵,Cholesky分解可以给出这样的因子;对于奇异矩阵,则需要采用其他合适的分解。更一般的依赖关系可以通过条件模型或其他联合分布构造方法来生成。从拟合的各边缘分布中独立抽样,并不等同于从拟合的联合分布中抽样。

蒙特卡洛方法也会引入自身的数值不确定性。对于相互独立、且输出方差 σY2\sigma_Y^2 有限的仿真,均值估计的标准误为 σY/M\sigma_Y/\sqrt{M}。因此,要将这一误差减半,模型计算次数大约需要增加至原来的四倍。分位数估计的精度取决于目标分位数附近的概率密度,而估计尾部概率所需的样本量可能远大于估计分布中心的统计量所需的样本量。如果某事件的概率为 10−610^{-6},那么一百万次独立抽样平均只会出现一次该事件,这不足以得到相对精度较高的估计。重要性抽样通过改变抽样分布并施加权重,将计算资源集中于相关的罕见结果。

在适当条件下,其他抽样设计可以提高效率。分层抽样和拉丁超立方抽样将模型计算分散到输入的取值范围内,而拟蒙特卡洛方法则使用低差异点集,代替独立随机抽样。这些方法的效果取决于平滑性、维度结构以及所估计的量。它们并不能让质量不佳的输入模型变得准确。当使用马尔可夫链蒙特卡洛对输入或参数进行抽样时,相邻样本之间存在依赖关系,因此,不确定性估计必须考虑有效样本量,而不能仅依据名义样本量。

还必须区分仿真误差与所建模系统本身的不确定性。增大 MM 可以提高输出分布估计的精度,但该分布仍可能十分宽广。这既不会减少物理变异性,也无法解决参数不可辨识的问题,更不能验证某项结构假设。因此,技术上完整的仿真分析应同时报告模型输出的性质,以及计算这些性质时达到的数值精度。对于确定性或有界的不确定性描述,蒙特卡洛样本也无法确立最坏情形的界限:未被抽到的输入组合可能产生更极端的输出。

统计估计与预测不确定性

当模型参数由观测数据估计时,不确定性分析也包括使用有限且不完美的数据所带来的影响。例如,在线性回归中,拟合系数的不确定性会影响对平均响应的估计。预测一个新的观测值时,还需考虑结果围绕该均值的变异所带来的额外不确定性。因此,平均响应的区间与预测区间之间的区别具有实质意义,而非仅仅是术语上的差异:后者通常更宽,因为它针对的是不同的未知量。

频率学派的置信区间通过构造程序在重复抽样中的表现来定义。在其假设成立的条件下,名义置信水平为 95% 的程序所构造的区间,会在 95% 的假想重复抽样中覆盖固定的真实参数。在这一框架下,一旦某个具体区间已经算出,就不能说参数有 95% 的概率落在该区间内。如果抽样假设、误差分布、依赖结构或模型设定有误,覆盖率就可能无法达到名义水平。名义水平描述的是在给定条件下的一项数学性质,而非对科学正确性的无条件保证。

贝叶斯推断通过结合似然与先验得到后验分布,以此表示参数的不确定性。可信区间是在给定模型与现有信息的条件下,包含指定后验概率的区间。预测通过积分计入参数的不确定性:

p(ynew∣D)=∫p(ynew∣θ,D) p(θ∣D) dθ.p(y_{\mathrm{new}}\mid D) = \int p(y_{\mathrm{new}}\mid\theta,D)\, p(\theta\mid D)\,d\theta.

这一后验预测分布既包含关于 θ\theta 的不确定性,也包含给定 θ\theta 时未来结果的变异。但它不会自动纳入因机制遗漏、似然设定错误或未考虑其他模型而产生的不确定性。

自助采样提供了另一种方法,通过重采样来近似估计量的抽样分布。在普通的非参数自助采样中,从已观测数据集中进行有放回抽样,并重新计算估计量。即使抽样分布没有闭式表达式,这种方法也可用于估计标准误和构造区间。其有效性取决于抽样结构与估计量。存在时间依赖的观测数据可能需要采用分块方法,分组观测数据可能需要采用整群重采样,而极值或边界问题则可能使简单的自助采样近似失效。

数据收集与可识别性制约着所有这些方法。大规模数据集并不能消除选择偏差、未测量的混杂因素,也不能消除在观测上等价的参数组合之间的歧义。在逆问题中,多组参数设置可能都能复现观测结果,却给出不同的外推结果。正则化或先验信息可以使估计更加稳定,但由此得到的精度在一定程度上反映了这些额外加入的假设。在某个拟合模型内得到的区间很窄,并不妨碍在不同的合理模型、总体或未来条件之间仍存在显著的不确定性。

数值模型、仿真代理与结构性偏差

基于计算机的不确定性分析,往往以数学模型为对象,而模型本身也只是对物理系统或社会系统的近似。一种有用的概念性分解是

yobs(x)=f(x,θ)+δ(x)+ε,y_{\mathrm{obs}}(x) = f(x,\theta)+\delta(x)+\varepsilon,

其中,ff 为模型,θ\theta 为其参数,δ\delta 为结构性偏差,ε\varepsilon 为观测误差。模型偏差表示模型与目标系统之间的系统性差异,这类差异无法仅靠选取正确的参数值来消除。这种分解很有用,但仅凭有限的观测,可能难以分别识别其中各个分量。

数值近似又引入了另一层误差。偏微分方程的数值仿真采用有限的网格、时间步长、收敛容差以及有限精度运算。计算输出 fhf_h 未必等于数学模型的精确解 ff,其中 hh 表示分辨率参数。网格加密研究和误差估计方法可用于评估两者之间的差异。在已确认的收敛条件下,形如 fh=f+Chp+o(hp)f_h=f+Ch^p+o(h^p) 的关系可作为外推的依据。不连续性、未能解析的尺度以及不稳定的算法,都可能使假定的收敛阶失效。

验证与确认回答的是不同的问题。验证关注方程与算法是否得到正确实现和求解;确认则关注模型能在多大程度上充分表征预期研究的现实系统。代码验证可以使用解析解或制造解。解的验证考察某次具体计算中的数值误差。确认则将模型行为与相关观测进行比较,同时考虑观测和模型输入中的不确定性。在某一条件范围内成功完成确认,并不能证明模型在不相关的条件下也具有准确性。

计算成本高昂的仿真往往需要仿真代理或替代模型。高斯过程仿真代理可预测已求值输入设置之间的输出,并在其概率假设下,给出这种插值的不确定性。多项式混沌展开利用相对于输入概率测度正交的多项式函数来近似响应。这类展开可以降低矩和敏感性指标的计算成本。其收敛性取决于响应的正则性与维度结构;剧烈的变化以及大量具有显著影响的输入,都可能使简单的表示形式失效。

必须区分替代模型的不确定性与原始模型及输入的不确定性。仿真代理可以准确复现仿真器的输出,但两者都可能偏离现实。同样,通过调整参数来拟合观测,可能只是掩盖了结构性缺陷,而非消除了这些缺陷。参数校准与偏差项可能相互补偿,从而在物理参数不可辨识的情况下,仍呈现出看似良好的拟合。因此,独立的评估数据、信息充分的实验条件,以及对外推的明确考察,都是解释基于模型的不确定性的关键,尤其是在预测涉及校准数据集未涵盖的条件时。

敏感性分析与不确定性归因

不确定性归因旨在识别哪些输入、假设或模型组成部分导致了指定输出的变化。局部方法使用选定点处的导数,有时还会根据输入和输出的量值对其进行缩放。这类方法计算成本低,有助于诊断该点附近的模型行为,但未必能够描述较大输入范围内的全局效应。即使某个输入在其他位置十分重要,它所对应的导数也可能在某一点为零;而某个参数的影响也可能主要通过与其他参数的交互作用体现。

对于相互独立的输入和平方可积的响应,基于方差的方法采用函数分解:

f(X)=f0+∑ifi(Xi)+∑i<jfij(Xi,Xj)+⋯ ,f(X)=f_0+\sum_i f_i(X_i) +\sum_{i<j}f_{ij}(X_i,X_j)+\cdots,

其中各分量满足适当的零均值条件和正交条件。由此,输出方差可分解为各个变量及其交互作用的贡献。一阶 Sobol 指数为

Si=Var⁡ ⁣(E⁡[Y∣Xi])Var⁡(Y).S_i= \frac{\operatorname{Var}\!\left(\operatorname{E}[Y\mid X_i]\right)} {\operatorname{Var}(Y)}.

它衡量的是:在指定的输入分布下,仅凭 XiX_i 的取值所能解释的方差比例。

总效应指数则包含涉及该输入的交互作用:

STi=E⁡ ⁣[Var⁡(Y∣X−i)]Var⁡(Y),S_{T_i}= \frac{\operatorname{E}\!\left[\operatorname{Var}(Y\mid X_{-i})\right]} {\operatorname{Var}(Y)},

其中,X−iX_{-i} 表示除 XiX_i 以外的所有输入。考虑 Y=X1X2Y=X_1X_2,其中两个输入相互独立、均值为零,且方差均为有限正值。两个一阶指数都为零,因为仅以其中任一输入为条件时,条件均值仍为零。然而,两个总效应指数都等于一:输出方差全部来自交互作用。这个例子说明,逐次仅改变一个参数可能无法发现产生不确定性的机制。

输入之间的依赖关系会使归因更加复杂。当输入相关时,与某一输入相关联的变化也可能携带另一输入的信息。此时,通常针对独立输入采用的方差分解便不再具有同样的唯一解释。条件敏感性度量和 Shapley 效应提供了其他分配方式,但共同贡献如何分摊,取决于所选择的定义。敏感性度量较大也不能确立因果关系;它描述的是指定模型和输入分布中的关系。

方差并不总是最切合问题的分析目标。对于结构可靠性,越过失效阈值的概率可能比总体离散程度更重要。对于成本不对称的问题,期望损失或上分位数的敏感性可能更有参考价值。筛选方法可以在开展计算成本更高的分析之前,识别可能具有重要影响的输入;而基于导数或基于分布的度量,则可以揭示模型行为的不同侧面。因此,敏感性排序取决于所选的输出、概率模型和度量指标。某个输入对平均行为的影响可能微不足道,却可能主导罕见但后果重大的尾部事件。

决策、鲁棒性与信息价值

不确定性分析将世界可能处于的状态与不同行动方案的后果联系起来,为决策提供支持。在决策理论中,行动 aa、不确定状态 θ\theta 和损失函数 L(a,θ)L(a,\theta) 共同定义一个形式化问题。在给定概率分布的条件下,一种常用准则是选择

a∗=arg⁡min⁡aE⁡[L(a,θ)].a^\ast=\arg\min_a \operatorname{E}[L(a,\theta)].

最优行动并不仅取决于最可能出现的结果。损失的不对称性、阈值以及概率虽低但后果严重的事件,都可能使决策对分布中那些对均值贡献很小的部分十分敏感。

例如,考虑一项工程设计:荷载具有不确定性,而承载能力可以通过增加成本来提高。失效概率取决于荷载与承载能力的联合分布,包括其尾部特征及相依关系。仅依据均值选出的设计,可能与依据荷载超过承载能力的概率选出的设计大不相同。可靠性约束有时采用以下形式:

Pr⁡ ⁣(g(a,X)≤0)≥1−α,\Pr\!\left(g(a,X)\leq 0\right)\geq 1-\alpha,

其中,g≤0g\leq0 表示性能可接受。由此得到的概率以所假定的模型为条件;它并不能独立证明模型已涵盖所有相关的失效机制。

当缺乏充分依据来支持某一个概率分布时,鲁棒优化会考察给定不确定性集合内的性能。一种极小化最大损失的表述为

a∗=arg⁡min⁡asup⁡θ∈ΘL(a,θ).a^\ast=\arg\min_a\sup_{\theta\in\Theta}L(a,\theta).

分布鲁棒优化则针对一组概率分布进行优化。这些方法并没有消除假设:结论仍取决于所选的界限或分布集合。集合过宽可能导致行动过于保守,集合过窄则可能排除重要的可能情形。因此,解释鲁棒性时,必须明确它是相对于哪一类偏离参考模型的情形而言的。

信息价值衡量减少不确定性能否改善决策。对于损失最小化问题,完全信息的期望价值可写为

EVPI⁡=min⁡aE⁡[L(a,θ)]−E⁡ ⁣[min⁡aL(a,θ)].\operatorname{EVPI} = \min_a\operatorname{E}[L(a,\theta)] - \operatorname{E}\!\left[\min_a L(a,\theta)\right].

第一项是在获知状态之前能够达到的最小期望损失;第二项则假定可以在状态已知后选择行动。在适当条件下,两者之差非负,因为无用的信息可以被忽略。在采用相同基准进行比较时,这一差值给出了可行研究所能带来的期望收益的上界。

信息价值并不等同于方差的降低。某项实验可能大幅减少一个重要参数的不确定性,却不改变首选行动。反过来,在决策阈值附近,即使不确定性仅有小幅降低,也可能具有价值。因此,实验设计可以将提高参数估计精度、提高预测准确性或改善预期决策效果作为目标,而不同目标会产生不同的设计方案。情景分析发挥着相关但不同的作用:它检验决策在指定的替代条件下的表现,而不一定为这些条件赋予概率。

报告、评估与方法局限

只有明确说明不确定性所针对的对象及其适用条件,对不确定性的表述才具有可解释性。报告应区分个体结果与总体均值、固定但未知的参数与未来的变异性,以及无条件预测与以某种情景为条件的预测。单位、参考条件、变量变换和时间跨度都可能改变结果的含义。年度平均值的不确定性不能直接用于日极值;当分母接近零时,相对不确定性的含义也会变得模糊。

数值摘要应说明其构建方式。标准差、标准误、中央95%区间和95%上限回答的是不同的问题。对于偏斜分布或多峰分布,均值和对称误差棒可能掩盖重要结构。分位数、密度图,或对不同状态分别加以描述,可能提供更多信息。不确定性预算记录各输入量的估计值、不确定性评定、相关性假设和传播方法,同时明确哪些来源被忽略或另行处理。

预测不确定性可以通过反复观测到的结果来评估。校准性关注所给概率与观测频率是否一致:在一组适当且可比较的预测中,被赋予约0.7概率的事件,其实际发生频率应约为70%。覆盖率衡量预测区间是否以其标称比例包含观测值。锐度关注预测分布的集中程度。宽区间可以获得较高的覆盖率,却未必提供有用信息,因此,性能评估通常同时考虑分布的集中程度和校准性,并常借助鼓励如实报告概率分布的评分规则。

评估本身也存在不确定性。罕见事件能够为尾部校准提供的信息很少,结果之间的依赖性会减少有效检验次数,而环境变化可能使过去的表现无法充分指引对未来行为的判断。交叉验证有助于评估某一数据生成环境下的预测表现,但并不能自动检验其能否迁移到不同总体或运行状态。良好的平均表现也可能掩盖特定子群体或输入空间某些区域内校准不佳的问题。

当相关机制尚未被认识、数据无法区分相互竞争的解释,或外推范围远远超出观测范围时,根本性的局限依然存在。赋予一个狭窄的概率分布,并不能弥补被遗漏的可能性。反过来,仅仅列出许多假设模型,也不能证明它们涵盖了所有相关情况。模型集合中的各个模型可能具有相同的结构假设并使用共同的数据集,因此,模型间的一致性所提供的信息,可能没有成员数量所暗示的那么多。

要保证可复现性,就必须提供足以重建分析的细节,包括输入分布与界限、依赖关系、数据处理选择、模型版本、抽样算法、数值容差和收敛诊断。分别核算输入不确定性、模型局限和计算误差,有助于避免将精确的数值计算误认为对现实的精确描述。在不存在合理且有依据的概率模型时,明确以特定条件为前提的结果或界限,可以保留已量化的不确定性与尚未解决的假设之间的区别。