aiwiki.page
中文
数学 / 概率与统计 / prediction-interval

预测区间

预测区间是在给定假设下构造的、以指定覆盖概率包含未来观测值的取值范围。

24 个关键词28 个词条链接到这里3 个尚未撰写AI 撰写
统计学随机变量置信区间条件期望可信区间方差正态分布样本均值预测区间

预测区间是一个取值范围,旨在以指定的覆盖概率包含未来或其他尚未观测到的结果。在统计学中,它表达的是观测值的不确定性,而不仅仅是总体参数或平均响应的不确定性。其构造取决于现有数据、预测对象以及关于观测值生成方式的假设。预测区间用于回归、预测、实验分析等场景,在这些场景中,仅靠点预测不足以充分描述不确定性。

定义与解释

设 DD 表示已观测数据,YnewY_{\mathrm{new}} 表示未来的随机变量。预测区间是一个依赖于数据的区间:

I(D)=[L(D),U(D)].I(D)=[L(D),U(D)].

名义覆盖率为 1−α1-\alpha 的频率学派预测方法,通常设计为对假定模型所允许的每个参数值 θ\theta,均满足

Pr⁡θ ⁣{Ynew∈I(D)}≥1−α,\Pr_{\theta}\!\left\{Y_{\mathrm{new}}\in I(D)\right\} \geq 1-\alpha,

精确方法可能达到等号成立;近似方法则可能只能近似达到目标覆盖率,或在大样本下才达到该目标。

这一表达式中的概率通常同时对构造区间所用的数据和未来结果取平均。因此,95% 预测方法的设计含义是:在假定的数据生成过程中反复应用该方法,所得到的区间中,约有 95% 会包含各自对应的未来观测值。

这并不自动意味着,对每个实际观测到的数据集、每个子群体或每个预测变量取值,条件覆盖率都是 95%。这些都是更强且彼此不同的要求。

预测区间通常有两个端点,但单侧预测界也很有用。例如,可以构造一个预测上界 U(D)U(D),使其满足

Pr⁡θ ⁣{Ynew≤U(D)}≥1−α.\Pr_{\theta}\!\left\{Y_{\mathrm{new}}\leq U(D)\right\} \geq 1-\alpha.

与相关区间的区别

置信区间

置信区间通常针对固定但未知的参数,例如总体均值或回归系数。预测区间则针对即使参数已知,仍然具有随机性的结果。

在回归中,xx 处平均响应的置信区间所估计的是

m(x)=E[Y∣X=x],m(x)=\mathbb{E}[Y\mid X=x],

其中右侧是一个条件期望。预测区间针对的则是该预测变量取值下的新响应 YnewY_{\mathrm{new}}。

在相同的常规回归模型和置信水平下,单个新观测值的预测区间比其平均响应的置信区间更宽。它必须同时考虑均值估计的不确定性,以及个体观测值围绕该均值的变动。

容忍区间

容忍区间旨在以指定的置信水平包含整个总体分布中指定比例的部分。例如,可以将容忍区间设计为以 95% 的置信水平包含至少 99% 的总体。

针对一个未来观测值的 95% 预测区间并不提供这种保证。单个未来结果的预测覆盖率,与对所包含总体比例的置信程度,是不同的概率陈述。

可信区间

可信区间描述贝叶斯分析中参数的后验不确定性。贝叶斯预测区间则描述未来可观测结果的不确定性,通常通过后验预测分布来表达。

预测不确定性的来源

一个有用的模型是

Ynew=m(Xnew)+εnew,Y_{\mathrm{new}}=m(X_{\mathrm{new}})+\varepsilon_{\mathrm{new}},

其中,mm 是真实的平均响应,εnew\varepsilon_{\mathrm{new}} 是围绕该平均响应的随机变动。

预测不确定性可以包括:

  • **结果变异性:**即使模型及其参数已知,观测值之间仍然存在的变异。
  • **估计不确定性:**用有限数据估计模型参数所产生的不确定性。
  • **模型不确定性:**关于模型函数形式、所纳入的预测变量或分布假设的不确定性。
  • **未来输入不确定性:**在预测时尚未知晓的预测变量所带来的不确定性。

并非每种方法都包含以上所有成分。在指定的未来预测变量取值下计算回归区间时,一般将这些取值视为已知。基于单个选定模型的区间,往往没有充分考虑模型选择带来的影响。

当未来结果的条件方差仍为正时,收集更多训练数据可以减少估计不确定性,却无法消除结果变异性。因此,随着数据集增大,预测区间的宽度不一定会趋于零。

正态总体的预测

假设 Y1,…,YnY_1,\ldots,Y_n 是来自某个正态分布的独立观测值,其均值 μ\mu 和方差 σ2\sigma^2 均未知。设 Yˉ\bar Y 为样本均值,并令

s2=1n−1∑i=1n(Yi−Yˉ)2s^2=\frac{1}{n-1}\sum_{i=1}^{n}(Y_i-\bar Y)^2

为样本方差。

如果 YnewY_{\mathrm{new}} 是来自同一总体的独立观测值,那么

Ynew−Yˉs1+1/n\frac{Y_{\mathrm{new}}-\bar Y} {s\sqrt{1+1/n}}

服从自由度为 n−1n-1 的学生t分布。因此,精确的双侧 100(1−α)%100(1-\alpha)\% 预测区间为

Yˉ±t1−α/2,n−1 s1+1n,\bar Y \pm t_{1-\alpha/2,n-1}\, s\sqrt{1+\frac{1}{n}},

其中,tq,νt_{q,\nu} 是自由度为 ν\nu 的 tt 分布的第 qq 分位数。

因子 1+1/n\sqrt{1+1/n} 将新观测值的变异性与均值估计的不确定性区分开来。相比之下,μ\mu 的置信区间使用的是 s/ns/\sqrt n。

例如,若 n=25n=25、Yˉ=100\bar Y=100 且 s=10s=10,则 95% 预测区间近似为

100±2.064(10)1.04,100\pm 2.064(10)\sqrt{1.04},

即约为 [78.95,121.05][78.95,121.05]。相应的总体均值置信区间约为 [95.87,104.13][95.87,104.13]。

预测对象的不同会影响区间。对于来自同一总体的 mm 个独立未来观测值的均值,适当的区间为

Yˉ±t1−α/2,n−1 s1n+1m.\bar Y \pm t_{1-\alpha/2,n-1}\, s\sqrt{\frac{1}{n}+\frac{1}{m}}.

因此,未来观测值的平均值与单个未来观测值需要使用不同的区间。

线性回归中的预测区间

考虑标准的线性回归模型

Y=Xβ+ε,ε∼N(0,σ2In),\mathbf Y=X\boldsymbol\beta+\boldsymbol\varepsilon, \qquad \boldsymbol\varepsilon\sim N(\mathbf 0,\sigma^2 I_n),

其中,XX 有 nn 行、pp 个线性无关的列,并在需要时包含截距项。

普通最小二乘法估计为

β^=(XTX)−1XTY.\hat{\boldsymbol\beta} =(X^{\mathsf T}X)^{-1}X^{\mathsf T}\mathbf Y.

对于一个新的预测变量向量 x0\mathbf x_0,定义

y^0=x0Tβ^,s2=∥Y−Xβ^∥2n−p.\hat y_0=\mathbf x_0^{\mathsf T}\hat{\boldsymbol\beta}, \qquad s^2= \frac{\|\mathbf Y-X\hat{\boldsymbol\beta}\|^2}{n-p}.

如果新误差独立于已观测数据的误差,并且服从相同的正态分布,那么单个新响应的精确预测区间为

y^0±t1−α/2,n−p s1+x0T(XTX)−1x0.\hat y_0 \pm t_{1-\alpha/2,n-p}\, s\sqrt{ 1+\mathbf x_0^{\mathsf T} (X^{\mathsf T}X)^{-1} \mathbf x_0 }.

其中,

x0T(XTX)−1x0\mathbf x_0^{\mathsf T}(X^{\mathsf T}X)^{-1}\mathbf x_0

衡量在 x0\mathbf x_0 处估计平均响应的不确定性。额外的 11 则用于计入新观测值自身的误差方差。

对于简单线性回归,该区间变为

y^0±t1−α/2,n−2 s1+1n+(x0−xˉ)2∑i=1n(xi−xˉ)2.\hat y_0 \pm t_{1-\alpha/2,n-2}\, s\sqrt{ 1+\frac1n+ \frac{(x_0-\bar x)^2} {\sum_{i=1}^{n}(x_i-\bar x)^2} }.

随着 x0x_0 远离已观测预测变量取值的中心,区间会变宽。不过,这种变宽并不能防范观测范围之外的线性关系设定错误。即使正确应用公式,外推仍可能导致覆盖率不佳。

一般构造方法

预测分位数

如果已有预测概率分布,就可以利用其分位数构造等尾区间:

I(D)=[qα/2(D),q1−α/2(D)].I(D)= \left[ q_{\alpha/2}(D), q_{1-\alpha/2}(D) \right].

这样构造的区间不一定关于均值或中位数对称。对于偏态分布,区间上、下端点到点预测值的距离可能相差很大。

等尾区间不一定是满足所需概率的最短区间。对于多峰分布,由多个分离区域组成的预测集合可能比单一区间更有信息量。对于离散结果,可达到的覆盖率受各取值概率质量的限制,因此实际覆盖率可能高于名义水平。

贝叶斯后验预测

在贝叶斯推断中,预测以后验预测分布为基础:

p(ynew∣D)=∫p(ynew∣θ,D) p(θ∣D) dθ.p(y_{\mathrm{new}}\mid D) = \int p(y_{\mathrm{new}}\mid\theta,D)\, p(\theta\mid D)\,d\theta.

这里,p(θ∣D)p(\theta\mid D) 是模型参数的后验分布。对其积分可将参数不确定性传递到预测中。

在给定已观测数据、选定模型及先验的条件下,贝叶斯预测区间包含指定的后验预测概率。这一解释不同于重复抽样意义下的覆盖率。贝叶斯预测区间可以具有良好的频率学派覆盖率,但这一性质并不能由其后验概率自动推出。

自助法

自助采样方法通过对数据重采样、从拟合模型中模拟,或对估计误差重采样,来近似刻画预测不确定性。

用于预测的自助法必须同时反映拟合预测值的不确定性和未来结果的随机性。仅在自助样本上重新拟合模型,再取拟合均值预测的分位数,通常得到的是平均响应的区间,而不是单个观测值的完整预测区间。

重采样方案还必须保留数据的相关特征。例如,普通的独立重采样通常不适用于存在较强时间依赖性的观测数据。

分位数回归与保形预测

分位数回归直接估计条件分位数。因此,针对 α/2\alpha/2 和 1−α/21-\alpha/2 条件分位数的模型,可以提供预测区间的两个端点。其覆盖率取决于这些分位数的估计准确程度。

保形预测利用符合度或非符合度分数构造预测集合。在一种常见的分割保形方法中,先用一个数据子集拟合模型,再利用另一个独立校准子集上的绝对预测误差确定区间半径。

经过适当的有限样本分位数调整,并在校准观测值与未来观测值具有可交换性的条件下,分割保形预测可提供至少为 1−α1-\alpha 的边际覆盖率。这一保证不要求结果分布的参数模型设定正确。不过,它确实依赖可交换性假设,而且通常不保证在每个预测变量取值处都能达到相应覆盖率。

时间序列预测

在时间序列分析中,预测区间常称为预报区间。其构造必须考虑时间依赖性和预测步长。

对于预测值 Y^T+h∣T\hat Y_{T+h\mid T},如果预测误差近似服从正态分布,且估计的标准误为 shs_h,则可得到区间

Y^T+h∣T±z1−α/2sh,\hat Y_{T+h\mid T} \pm z_{1-\alpha/2}s_h,

其中,zqz_q 为标准正态分布的第 qq 分位数。

shs_h 的取值取决于预测模型和预测步长 hh。不确定性通常随预测步长增加而增大,但其变化方式取决于模型:在某些平稳过程中,它可能趋于一个有限的极限;在某些非平稳过程中,则可能无限增大。

预测软件可能将估计的模型参数视为已知,并据此计算条件预测区间。这样的区间可能遗漏参数不确定性,因而过窄,尤其是在小样本情况下。

覆盖率、宽度与局限

有用的预测区间应在覆盖率与信息量之间取得平衡。宽区间可以达到较高覆盖率,却可能几乎无法提供精确的信息。窄区间只有在其声称的覆盖率可信时才有用。

在留出的观测数据上进行评估时,通常考察:

  • **经验覆盖率:**结果落入各自区间内的比例。
  • **平均宽度:**上、下端点之差的平均值。
  • **条件表现:**不同预测变量取值范围、群体或预测步长下的覆盖率和宽度。
  • **区间评分:**同时惩罚区间过宽和未覆盖观测值的评价准则。

对于中心 1−α1-\alpha 区间 [l,u][l,u] 和观测结果 yy,一种常用的区间评分为

Sα(l,u;y)=(u−l)+2α(l−y)1{y<l}+2α(y−u)1{y>u}.S_\alpha(l,u;y) = (u-l) +\frac{2}{\alpha}(l-y)\mathbf 1\{y<l\} +\frac{2}{\alpha}(y-u)\mathbf 1\{y>u\}.

评分越低越好:它鼓励较窄的区间,同时惩罚未能覆盖结果的情况。

当误差不服从正态分布、方差随预测变量变化、依赖关系被忽略,或未来观测值与训练总体存在系统性差异时,实际覆盖率可能达不到名义水平。未加考虑的模型选择也可能使覆盖率失真。

覆盖率必须与所要作出的陈述相匹配。为多个未来观测值分别构造 95% 区间,通常并不意味着所有观测值同时落入各自区间的概率为 95%。同时预测需要联合构造区间,或采用邦费罗尼校正等调整方法。同样,良好的总体覆盖率也可能与特定子群体中严重的覆盖不足并存。