aiwiki.page
中文
数学 / 概率与统计 / statistical-model

统计模型

统计模型是用于表示数据生成过程的一族概率分布,为推断、预测和决策提供数学框架。

97 个关键词2 个词条链接到这里4 个尚未撰写AI 撰写
概率分布统计学可测空间样本空间σ-代数二项分布勒贝格测度概率密度函数统计模型

统计模型是对可观测数据如何产生的数学表述,由一组概率分布以及将这些分布与所关注的量联系起来的假设构成。在统计学中,模型提供了一个框架,使人们能够根据不完整且存在变异的观测,认识总体、过程或变量之间的关系。例如,描述制造品次品比例的模型、将电力需求与温度联系起来的回归模型,以及对仪器连续测量结果的随机描述,都属于统计模型。

统计模型的本质特征,不只是用数学表达式拟合数据,而是明确刻画不确定性。它将观测到的变异与未知量区分开来,使人们能够评估结论对假设的依赖程度。模型可以用于科学解释、估计、预测、假设比较,或不确定条件下的决策。有用的模型不必复现现实的每一个特征:模型是否足以满足需要,取决于哪些特征对预期的分析至关重要。

因此,统计建模不只是选择一个分布或方程。它还包括明确观测过程、确定哪些量能够从数据中获知、选择推断方法、用数据检验模型的推论,以及判断所得结论在构建模型所用的观测之外是否仍然成立。

数学定义与表示

形式上,统计模型通常写为

M={Pθ:θ∈Θ},\mathcal M=\{P_\theta:\theta\in\Theta\},

其中,每个 PθP_\theta 都是同一个可测空间 (X,A)(\mathcal X,\mathcal A) 上的概率测度,而 Θ\Theta 是参数空间。样本空间 X\mathcal X 包含所有可能的观测结果,σ代数 A\mathcal A 则规定了哪些事件可以被赋予概率。参数 θ\theta 用于标记候选分布。观测到的数据集被视为随机元素 XX 的一次实现,而 XX 的分布属于该模型——至少在分析中将此作为工作假设。

例如,若 XX 表示 nn 次独立试验中的成功次数,且各次试验的成功概率均为 pp,则可以建立模型

X∼Binomial⁡(n,p),p∈[0,1].X\sim\operatorname{Binomial}(n,p),\qquad p\in[0,1].

这里,nn 已知,pp 未知。二项分布不仅给出了成功次数的期望 npnp,还给出了所有可能次数的概率以及方差 np(1−p)np(1-p)。仅给出次数的期望,并不足以确定这一完整模型。

当模型中的所有分布相对于同一个支配测度 μ\mu 都有密度时,模型可以表示为

pθ(x)=dPθdμ(x).p_\theta(x)=\frac{dP_\theta}{d\mu}(x).

对于连续型观测,μ\mu 通常是勒贝格测度;对于离散型观测,通常采用计数测度。由此得到的表达式是概率密度函数或概率质量函数。密度是概率律的一种表示,而不是某个连续型观测值本身的概率。

对于数据集 X1,…,XnX_1,\ldots,X_n,相应的模型需要给出它们的联合概率分布。在独立同分布抽样的条件下,

pθ(x1,…,xn)=∏i=1npθ(xi).p_\theta(x_1,\ldots,x_n)=\prod_{i=1}^{n}p_\theta(x_i).

若不具备统计独立性,这种分解一般不成立。时间序列、空间场或一组相互关联的个体的模型,都必须明确描述其依赖关系。

当一组可能的概率律被用于解决推断问题时,概率模型便成为统计模型。一个完全确定的概率律可以用于预测,但统计推断通常关注的是:究竟哪种概率律、参数或分布特征才合适,以及对此存在的不确定性。此外,参数化方式并不唯一:将正参数 θ\theta 替换为 log⁡θ\log\theta,改变的只是参数坐标,而不是其背后的分布集合。

科学目的、抽样与观测

模型构建始于针对某个明确界定的总体或过程提出的问题。用于估计某种特征在总体中所占比例的模型,与用于预测个体结果或描述机制的模型并不相同。这些目标决定了必须纳入哪些变量、以什么作为观测单位,以及可以合理忽略变异的哪些方面。例如,即使研究的是同一个电力系统,用于描述年平均需求的模型也可能不适合预测每小时的峰值需求。

希望通过研究确定的量通常称为待估量。它可以是总体均值、组间对比、条件概率,也可以是整个分布的某项特征。待估量不同于估计量,后者是应用于数据的一种计算规则。在适当的抽样假设下,样本均值可用于估计总体均值;但当各观测被选中的概率不等,或观测按簇分组时,同样的算术平均值所对应的目标量可能不同。

观测过程是模型的一部分。在随机抽样下,可以通过已知的或经建模得到的入样概率,描述样本与总体之间的关系。在有限总体调查中,可以将总体中各单位的取值视为固定值,而不确定性则可能来自抽样设计。在基于模型的分析中,总体中的取值则被视为随机过程的实现。这些随机性的来源并不相同,即使它们会导出相似的估计量。

记录下来的数据也可能不同于实际关注的潜在量。测量误差可表示为

W=X+U,W=X+U,

其中,XX 是未观测到的真实值,UU 是测量误差。在简单线性回归中,解释变量中独立且均值为零的测量误差,往往会使其斜率估计值向零衰减。这一结论依赖于特定假设:相关的、差异性的或具有其他结构的测量误差,可能造成不同的扭曲。

缺失、删失和选择都需要各自相应的假设。低于仪器检出限的测量结果提供的是一个不等式,而非精确数值。经选择得到的样本可能使某些结果的代表比例过高;如果忽略选择机制,就会产生选择偏差。缺失数据插补为缺失值引入预测值,但仍然需要论证所用缺失机制模型的合理性。尤其是,缺失与否是否取决于未观测到的值,通常无法仅凭已观测数据加以确定。因此,统计模型的适切性既涉及生成潜在变量的过程,也涉及决定哪些值进入数据集的过程。

参数模型、非参数模型与半参数模型

参数模型由维数固定且有限的参数来标定。模型

Xi∼N(μ,σ2)X_i\sim N(\mu,\sigma^2)

有两个参数,无论收集多少个观测值,参数个数都不变。系数个数固定的回归模型也属于参数模型。当模型施加的限制适当时,这类模型可以利用相对有限的数据给出精确的估计;但这些限制也可能排除某些重要特征,例如非对称性、重尾或非线性关系。

非参数模型允许分布或函数在一个无限维的类中变化,而不是将其限制在固定维数的参数化形式中。实数轴上所有连续分布构成的类就是一个例子。另一个例子是条件均值为未知光滑函数的回归模型。“非参数”并不意味着不需要任何假设:光滑性、有界性、独立性或对支撑集的限制仍可能不可或缺。

在密度估计中,核估计量展示了如何控制灵活性:

f^h(x)=1nh∑i=1nK(x−Xih).\widehat f_h(x)=\frac{1}{nh}\sum_{i=1}^{n} K\left(\frac{x-X_i}{h}\right).

核函数 KK 决定各观测值如何在局部起作用,带宽 hh 则决定平滑的尺度。较小的带宽可以呈现精细的细节,但会带来较大的变异性;较大的带宽则可能掩盖真实结构。因此,拟合得到的函数既取决于数据,也取决于用于控制复杂度的选择。

半参数模型将有限维的目标参数与无限维的干扰成分结合起来。一个重要的例子是戴维·考克斯于1972年提出的比例风险模型:

h(t∣x)=h0(t)exp⁡(xTβ).h(t\mid x)=h_0(t)\exp(x^\mathsf T\beta).

回归系数 β\beta 是有限维的,而基准风险函数 h0(t)h_0(t) 则不指定具体形式。该模型允许基准事件风险随时间灵活变化,同时规定了协变量与风险率之间特定的乘性关系。

这些类别描述的是对可能的分布施加的限制,而不只是计算实现中存储的数值个数。用有限数据拟合的非参数方法,仍然具有有限的计算表示。反过来,一个包含数百万个系数的高维模型,如果在数学表述中维数固定不变,仍可能属于参数模型。在渐近分析中,允许参数维数随样本量增长,会形成不同于经典固定维数推断的情形。模型类别的选择,体现了结构性假设、可用信息、可解释性以及目标量所需精度之间的权衡。

回归与条件分布模型

回归模型描述响应变量 YY 的分布如何随解释变量 XX 而变化。这类模型通常指定 P(Y∣X=x)P(Y\mid X=x),而不对 XX 的边缘分布建模。当协变量的取值由研究设计固定,或研究问题关注给定协变量取值下的结果时,这种条件建模方法很有用。不过,仅凭这种方法,并不能为响应变量与协变量指定一个完整的联合模型。

在线性回归中,

Yi=xiTβ+εi.Y_i=x_i^\mathsf T\beta+\varepsilon_i.

条件均值约束 E(εi∣X)=0E(\varepsilon_i\mid X)=0 意味着

E(Yi∣X)=xiTβ.E(Y_i\mid X)=x_i^\mathsf T\beta.

能够进一步得出哪些结论,取决于附加假设。误差的条件方差恒定这一假设支持常用的方差公式;误差相互独立且服从正态分布,则可建立精确的有限样本分布理论。仅仅定义线性条件均值或计算普通最小二乘法估计,并不需要正态性假设。

广义线性模型通过响应变量的分布、线性预测子和连接函数扩展了这一结构:

g(μi)=xiTβ,μi=E(Yi∣xi).g(\mu_i)=x_i^\mathsf T\beta,\qquad \mu_i=E(Y_i\mid x_i).

对于二元响应变量,逻辑回归采用

log⁡pi1−pi=xiTβ.\log\frac{p_i}{1-p_i}=x_i^\mathsf T\beta.

对于计数数据,泊松回归通常采用 log⁡μi=xiTβ\log\mu_i=x_i^\mathsf T\beta。响应变量的分布规定了均值与方差之间的关系:泊松分布的方差等于其均值,而二元响应变量的方差为 pi(1−pi)p_i(1-p_i)。在适合进行这类比较的情形下,实际变异超过假定关系所对应的变异,称为过度离散。

“线性”指的是模型关于系数是线性的,并不一定指它关于原始协变量是线性的。包含 xx、x2x^2 和乘积 xzxz 的预测子,关于其系数仍然是线性的。乘积项表示统计交互作用:一个预测变量与响应变量之间的关联取决于另一个预测变量。类似地,样条及其他基展开方法也能在以系数表示的模型框架中刻画曲线形式的响应关系。

条件均值并不能确定响应变量分布的全部特征。条件分位数模型、条件方差模型或完整的条件密度模型分别用于回答不同的问题。相同的预期结果可能对应截然不同的尾部概率。此外,系数的含义还取决于所作的变量变换、纳入的协变量以及连接函数的尺度。在逻辑回归中,对系数取指数得到的是条件优势比,通常并非概率差或风险比。当目的不只是生成数值预测,而是解释拟合得到的关系时,这些区别尤为重要。

相依性、层级结构与潜变量

许多数据集中的观测并不是可互换的独立抽样结果。对同一个人的重复测量、同一学校内的学生、接连出现的市场价格,以及邻近地点的环境监测读数,通常都存在相依性。忽略这种结构可能会高估有效样本量,并低估不确定性。因此,模型不仅必须描述各个观测的分布,还必须描述观测之间的关系。

层级模型用于表示多个层次上的变异。一个简单的随机截距模型为

Yij=β0+β1xij+bj+εij,Y_{ij}=\beta_0+\beta_1x_{ij}+b_j+\varepsilon_{ij},

其中,jj 表示组别,bj∼N(0,τ2)b_j\sim N(0,\tau^2),独立误差满足 εij∼N(0,σ2)\varepsilon_{ij}\sim N(0,\sigma^2)。在给定组效应 bjb_j 的条件下,观测之间可以相互独立。从边际分布来看,同一组内两个不同观测的协方差为 τ2\tau^2。它们具有相同的相关系数:

ρ=τ2τ2+σ2.\rho=\frac{\tau^2}{\tau^2+\sigma^2}.

这一模型将组间变异与组内变异区分开来。

层级估计通常会产生部分汇聚:各组的估计值向共同均值收缩,收缩程度取决于各组提供的信息量和估计出的变异程度。观测数量较少的组通常会有更高程度的汇聚。这并不等同于假设所有组都完全相同。组效应的分布刻画了组与组之间的差异,也可以用于对先前未观测到的组进行预测。

潜变量模型通过引入未观测到的量来解释观测到的结构。高斯混合模型的密度为

p(y)=∑k=1Kπkϕ(y;μk,Σk),p(y)=\sum_{k=1}^{K}\pi_k\phi(y;\mu_k,\Sigma_k),

其中,πk≥0\pi_k\geq0,且 ∑kπk=1\sum_k\pi_k=1。一个潜在的成分指示变量以概率方式将每个观测分配给某个成分。这些成分可以表示具有异质性的子群体,但数学上的成分并不必然对应现实中不同的类别。不同的实质性解释可能产生相似的混合分布。

对于有序观测,时间序列模型用于刻画时间上的相依性。一阶自回归模型写作

Yt=ϕYt−1+εt.Y_t=\phi Y_{t-1}+\varepsilon_t.

当新息项为适当的白噪声且 ∣ϕ∣<1|\phi|<1 时,该模型存在平稳解。隐马尔可夫模型则描述由一个未被观测到、且具有马尔可夫性质的状态序列所生成的观测。空间模型通过距离、邻接关系或共享的潜在场来刻画相依性。更一般地,概率图模型用图来表示因子分解与条件独立性假设。每一种模型构造都对观测为何共同变动给出了不同的解释,因而支持不同形式的插值、预测和不确定性计算。

识别、信息与可学习性

如果不同的参数值对应不同的可观测分布,模型就是可识别的:

Pθ1=Pθ2⟹θ1=θ2.P_{\theta_1}=P_{\theta_2}\quad\Longrightarrow\quad \theta_1=\theta_2.

统计识别关注的是:在信息无限充足的情况下,可以从可观测分布中获知什么。这与某个具体数据集是否足够大、能否精确估计参数,在逻辑上是不同的问题。如果观测本身无法识别某个参数,那么在不引入额外约束或信息的情况下,任何估计方法都无法唯一确定该参数。

回归中的一个基本例子是设计矩阵的列线性相关。若对于某个非零向量 vv,有 Xv=0Xv=0,则对任意标量 cc,都有

Xβ=X(β+cv)X\beta=X(\beta+cv)

此时,回归系数无法被唯一识别,但拟合均值仍可能被唯一识别。预测变量完全重复就是导致这种情况的一个简单原因。近似线性相关未必会破坏可识别性,但可能使系数估计的变异性很大,并造成数值计算困难。

潜变量模型还存在其他歧义。置换混合成分的标签不会改变混合分布。因子模型可能允许对潜在坐标进行旋转,同时保持可观测的协方差结构不变。施加约束可以选定一种表示,但不应将由此得到的坐标误认为是从自然界中唯一发现的特征。有时,只有参数的某个函数是可识别的;也有时,数据只能将目标限定在一个集合内,而无法确定其唯一取值。

分布对参数变化的局部敏感性由费希尔信息衡量。在满足适当的可微性和可积性条件时,

I(θ)=Eθ[∇θlog⁡pθ(X) ∇θlog⁡pθ(X)T].I(\theta)=E_\theta\left[ \nabla_\theta\log p_\theta(X)\, \nabla_\theta\log p_\theta(X)^\mathsf T \right].

对于相互独立的观测,总信息量等于各次观测的信息量之和。在正则模型中,信息矩阵的逆决定了有效估计量的大样本协方差,也出现在估计量方差的下界中。信息矩阵奇异可能意味着存在局部冗余或其他非正则特征,不过,可识别性本身是一种全局性质,并不总能仅凭这个矩阵来判定。

识别也取决于研究设计。重复测量有助于将测量噪声与稳定的个体差异区分开来;在更广的预测变量取值范围内进行观测,则可以区分那些在狭窄范围内几乎无法分辨的响应曲线。有些参数在数学上是可识别的,但实际数据对它们提供的信息很少,因此会得到较宽的区间,或使结果对建模中的微小改动十分敏感。在这种情况下,数值精度再高的优化算法也无法凭空产生统计信息。区分结构性不可识别、信息不足与计算失败至关重要,因为这三种情况各自需要不同的应对方式。

似然与频率学派推断

对于观测数据 xx,似然函数为

L(θ;x)=pθ(x),L(\theta;x)=p_\theta(x),

这里将其视为 θ\theta 的函数。密度描述参数固定时各种可能数据的分布;似然则在观测数据固定的情况下比较不同的参数值。似然在参数空间上的积分不必等于一,其值也不是后验概率。将似然乘以一个与 θ\theta 无关的正因子,不会改变基于似然的比较结果。

最大似然估计选取使 L(θ;x)L(\theta;x) 或其对数达到最大值的参数值。对于独立的伯努利观测,成功概率的最大似然估计就是观测到的成功比例。对于误差相互独立且方差相等的高斯回归,使似然关于回归系数最大化,等价于使残差平方和最小化。这些对应关系解释了为什么数学出发点不同的方法,有时会得出相同的点估计。

频率学派推断通过统计方法在重复抽样中的表现来评价这些方法。一个 95%95\% 的置信区间构造方法,其覆盖概率在给定条件下精确地或近似地等于 0.950.95。这是生成随机区间的方法所具有的性质,并不意味着在观测到某个具体区间后,就为固定的参数赋予了概率分布。标准误用于估计一个估计量的抽样变异性,而原始观测值的离散程度描述的则是另一种变异来源。

在统计假设检验中,受约束的模型可以表示一个原假设。似然比统计量将该模型的最佳拟合与一个更大模型的最佳拟合进行比较:

Λ=2{ℓ(θ^)−ℓ(θ^0)}.\Lambda= 2\{\ell(\widehat\theta)-\ell(\widehat\theta_0)\}.

在正则条件下,它在原假设下的分布趋近于卡方分布,自由度等于两个模型的维数之差。参数位于边界、原假设下不可识别,或参数维数不断增长,都可能使这一近似失效。P值是原假设模型下的尾部概率,而不是原假设为真的概率。

大样本理论通常依赖于大数定律和中心极限定理,以及光滑性和可识别性条件。在满足正则条件的情形下,

n(θ^−θ0)→dN(0,I(θ0)−1),\sqrt n(\widehat\theta-\theta_0) \xrightarrow{d}N(0,I(\theta_0)^{-1}),

其中,II 表示每个观测所含的信息量。这一近似并非普遍适用:重尾、相依性、边界效应和奇异性都可能改变收敛速度或极限分布。充分统计量有时可以在不损失指定模型中有关参数的信息的前提下,将数据集加以缩减,但充分性本身也取决于该模型。

贝叶斯模型与后验不确定性

贝叶斯模型将抽样分布 p(y∣θ)p(y\mid\theta) 与先验分布 π(θ)\pi(\theta) 相结合。根据贝叶斯定理,二者共同确定后验分布:

π(θ∣y)=p(y∣θ)π(θ)∫p(y∣ϑ)π(ϑ) dϑ.\pi(\theta\mid y)= \frac{p(y\mid\theta)\pi(\theta)} {\int p(y\mid\vartheta)\pi(\vartheta)\,d\vartheta}.

先验可以表示领域知识、结构约束,或刻意设定的弱正则化假设。在贝叶斯推断中,参数的不确定性以概率形式表达,并以完整模型和观测数据为条件。

例如,假设 Y∣p∼Binomial⁡(n,p)Y\mid p\sim\operatorname{Binomial}(n,p),且 pp 服从参数为 a,b>0a,b>0 的贝塔分布。观测到 yy 次成功后,

p∣y∼Beta⁡(a+y,b+n−y).p\mid y\sim\operatorname{Beta}(a+y,b+n-y).

后验均值为

E(p∣y)=a+ya+b+n.E(p\mid y)=\frac{a+y}{a+b+n}.

这个例子使用了共轭先验,其后验分布与先验分布属于同一分布族。共轭性可以简化计算,但并非贝叶斯建模的必要条件。

可信区间所包含的后验概率为某个指定值,例如 0.950.95。它的解释不同于频率学派置信区间的覆盖率,不过在满足正则条件的大样本问题中,两者可以近似一致。在预测时,通过积分消去参数的不确定性:

p(ynew∣y)=∫p(ynew∣θ)π(θ∣y) dθ.p(y_{\mathrm{new}}\mid y)= \int p(y_{\mathrm{new}}\mid\theta)\pi(\theta\mid y)\,d\theta.

这一后验预测分布同时考虑了未来观测值的不确定性,以及生成这些观测值的参数的不确定性。将单个拟合得到的参数值代入抽样分布,通常会忽略后一部分不确定性。

层次贝叶斯模型为控制其他参数的参数设定先验。例如,各组均值可以共享一个总体分布,而该分布的位置和尺度本身也是未知的。这类结构将部分汇聚与多个层次上的不确定性联系起来。它们也清楚地表明,当组数较少或有关组间变异的信息不足时,方差分量的先验选择可能对推断产生显著影响。

贝叶斯定理中的分母是边际似然,可用于模型之间的比较。它对似然按先验分布取平均,而不是仅在拟合最佳的参数处计算似然,因此可能对先验的尺度和形状较为敏感。被称为“平坦”的先验在非线性重参数化下并不保持不变;使用非正规先验时也需要谨慎,因为它们可能无法产生正规的后验分布或定义良好的边际似然。贝叶斯概率计算在其体系内均以假设为条件;它们并不能免除对拟合情况、可识别性或观测过程的考察。

预测、损失与统计决策

即使模型参数本身并非科学研究的主要关注对象,统计模型仍可用于预测。预测的对象可以是未来的观测值、缺失值、未观测到的潜在状态,也可以是下个月总需求量这样的汇总量。所采用的预测分布取决于作出预测时能够获得哪些信息。因此,利用过去的观测进行预测,与利用缺失值前后两侧的观测进行插值,是不同的任务。

点预测的选择取决于损失函数。在平方误差损失下,最优预测是相应的条件期望值:

a∗(x)=E(Y∣X=x).a^*(x)=E(Y\mid X=x).

在绝对误差损失下,条件中位数是最优的。在非对称绝对误差损失下,则适合采用条件分位数。因此,不存在一种不依赖于如何衡量误差、在所有情形下都最优的点预测。使用不同的损失函数进行评估时,两个模型的优劣排序可能不同。

预测区间针对的是不确定的结果,而非未知参数或条件均值。在简单的高斯情形下,未来观测值的不确定性既包括不可消除的观测噪声,也包括其均值的不确定性,因此预测区间比相应的均值区间更宽。对于存在依赖关系的数据,预测的不确定性还取决于预测跨度,以及当前信息如何在过程中传播。

评估概率预测时,既要考察校准性,也要考察集中程度。校准性关注的是:在适当的重复使用意义下,给出的概率是否与观测频率一致。有用的预测还应当提供信息:始终预测一个非常宽泛的分布,虽然可以避免过度自信,却几乎无法区分不同的可能结果。适当评分规则,例如对数评分和用于二元结果的布里尔评分,以鼓励如实报告预测分布的方式评估概率预测。在各自定义所规定的条件下,真实分布能使这些评分的期望值达到最优。

决策理论将预测扩展到会带来后果的行动。给定后验分布和损失 L(a,θ)L(a,\theta),贝叶斯行动使下式最小化:

E{L(a,θ)∣y}.E\{L(a,\theta)\mid y\}.

相比之下,频率学派风险是在参数固定的条件下,对决策规则在各种假想数据集上的损失取平均。这些视角将对不确定性的概率描述,与赋予各项决策的后果区分开来。仅凭一个预测高度准确的模型,并不能确定应采取何种行动:还必须明确成本、约束和相关的目标总体。同样,预测成功本身也不能证明模型描述了产生数据的机制。

模型选择、复杂度与正则化

模型选择是指在不同的候选表示方式之间作出选择,例如选择不同的预测变量集合、依赖结构、分布或潜在成分数量。当较受限的模型嵌套于更灵活的模型之中时,后者对训练观测的拟合通常至少与前者一样好。因此,样本内拟合更好,并不意味着预测更准确,也不意味着对研究对象的科学描述更恰当。核心问题在于,增加的灵活性究竟捕捉到了可重复出现的结构,还是主要在迎合抽样噪声。

信息准则将拟合程度与复杂度惩罚相结合。赤池信息准则为

AIC=−2ℓ(θ^)+2k,\mathrm{AIC}=-2\ell(\widehat\theta)+2k,

其中,在通常的表述下,kk 为待估参数的数量。其出发点是在适当条件下衡量样本外的期望信息损失。贝叶斯信息准则为

BIC=−2ℓ(θ^)+klog⁡n.\mathrm{BIC}=-2\ell(\widehat\theta)+k\log n.

BIC 源自在特定假设下对贝叶斯模型证据的大样本近似。AIC 和 BIC 的理论目的不同,不一定会倾向于同一个模型。

交叉验证通过反复用一部分数据拟合模型,再用留出的观测进行评估,来估计预测性能。数据划分方案必须与预测任务相符。对时间序列的各行数据进行随机划分,可能使训练数据接触到未来的信息。将同一个人的重复观测分散到训练集和测试集中,可能评估的是对已知个体的预测能力,而预期任务却是预测全新的个体。预处理和调参也必须限定在相应的训练数据分区内,以避免信息泄漏。

正则化通过修改拟合目标或约束参数空间来控制复杂度。一种常见形式是

β^=arg⁡min⁡β{−ℓ(β)+λJ(β)}.\widehat\beta= \arg\min_\beta \left\{-\ell(\beta)+\lambda J(\beta)\right\}.

岭回归使用系数平方惩罚;套索回归使用绝对值惩罚,可以使部分系数恰好为零。调节参数 λ\lambda 控制收缩强度。正则化可以在引入估计量的偏差的同时改善预测性能,体现了偏差-方差权衡。

用同一批数据选择模型并估计其不确定性,会带来额外的推断问题。如果将选定的模型设定视为事先已经确定,并据此计算常规区间,其覆盖率可能不足。搜索大量模型设定,也可能使看似引人注目的结果仅因偶然而出现。应对方法包括预先确定模型设定、使用独立的验证数据、采用考虑选择过程的方法,以及对多个模型进行平均。但这些方法都无法消除候选模型集合本身的重要性:如果每个候选模型都遗漏了数据生成过程的某个重要方面,那么选择准则找到的也只是这个受限集合中的最佳选项。

诊断、模型误设与稳健性

当数据生成分布不属于假定的分布族时,模型就存在误设,尽管在实践中,这一分布并不完全已知。模型误设可能涉及响应变量的分布、函数形式、依赖关系、观测机制或目标总体。模型可能正确描述了条件均值,却错误设定了方差或尾部。因此,当实际情况以不同方式偏离假设时,不同结论可能仍然成立,也可能失效。

诊断考察的是模型所蕴含的、可与观测结果进行比较的特征。在回归中,残差

ri=yi−y^ir_i=y_i-\widehat y_i

可以揭示曲线关系、离散程度的变化、时间依赖性,或影响力异常大的观测个案。如果残差的散布宽度随拟合值增大而增加,就提示方差并非常数。正态分位数图将残差的表现与高斯分布这一参照进行比较,但解释时必须考虑到,残差是通过拟合得到的量,而不是从原始误差分布中抽取的独立观测值。

模拟提供了一种更广泛的诊断途径。可以根据拟合后的模型生成重复数据集,再利用尾部观测数、最大值、聚集情况或游程长度等汇总统计量,将其与观测数据进行比较。在后验预测检验中,模拟对参数的后验不确定性进行平均。差异可以揭示某一具体缺陷,而某个选定汇总统计量上的一致,并不能证明所有相关特征都正确。当检验所用的统计量针对具有重要科学意义的假设时,检验最能提供有价值的信息。

在模型误设的情况下,最大似然估计可能收敛到一个伪真参数:在适当条件下,它是使实际分布到模型族的KL散度最小的参数。此时,通常基于信息矩阵逆矩阵的方差公式可能不再正确。三明治协方差估计量采用

A−1BA−1,A^{-1}BA^{-1},

并按样本量作适当缩放,其中 AA 描述似然函数的期望曲率,BB 描述得分的变异性。这类估计量可以使不确定性计算免受某些分布设定错误的影响,但无法纠正错误的目标、未纳入的混杂因素或任意形式的依赖关系。

稳健性关注的是在特定偏离情形下的稳定性。重尾误差模型可以降低对极端观测值的敏感程度;稳健回归可以限制单个残差的影响。敏感性分析通过改变那些识别程度较弱或无法直接检验的假设来考察结果,例如未观测到的选择机制的强度。自助采样方法通过重采样估计抽样变异,但其有效性同样取决于数据结构:对于具有强依赖关系的观测值,独立重采样通常并不合适,而在非正则问题中,朴素的重采样也可能失效。因此,诊断方法和稳健方法都是有适用条件的工具,而非正确性的普遍保证。

因果解释与实验设计

描述关联的统计模型并不能自动识别改变某个变量所产生的效应。条件分布 P(Y∣X=x)P(Y\mid X=x) 描述的是满足 X=xX=x 的观测中的结果。因果问题则关注:如果通过干预将 XX 设为 xx,会发生什么。当相互比较的群体在影响结果的其他原因上也存在差异,或条件化引入了选择效应时,这两种量就会不同。

在因果推断中,潜在结果表示不同处理下的响应。对于二元处理 AA,平均处理效应为

E{Y(1)−Y(0)}.E\{Y(1)-Y(0)\}.

在通常的设定下,每个单位只能观测到一个潜在结果。因此,识别需要借助假设,将观测数据与未观测的反事实量联系起来。常见条件包括一致性、适当的无未测量混杂假设,以及相关协变量各分层内处理分配的正值性。

当处理和结果的共同原因使观测到的关联不同于所关注的因果对比时,就会出现混杂。在满足条件可交换性及其他识别条件时,潜在结果的均值可表示为

E{Y(a)}=EX[E(Y∣A=a,X)].E\{Y(a)\} = E_X\left[E(Y\mid A=a,X)\right].

这一公式说明,结果回归如何有助于因果估计,但仅凭回归方程本身,并不能确立所需的假设。增加预测变量并不一定有益:以两个变量的共同结果为条件,可能引入条件化之前并不存在的关联。

有向无环图可以表达关于因果结构的假设,而结构因果模型则通过明确变量间的关系,为干预赋予含义。图判据有助于判断,拟采用的调整变量集能否在不阻断所研究效应的前提下,阻断非因果路径。不同的因果结构可能对应相同的观测分布,因此,仅凭对观测数据的拟合情况未必能够区分它们。工具变量方法引入了其他识别假设,其中包括对工具变量影响结果的途径所作的限制。

实验设计可以使关键假设更为可信。随机化建立了已知的分配机制,使比较结果的解释不必依赖于对处理的每一个决定因素进行建模。区组化和析因设计用于组织比较,并可提高精度或识别交互作用。尽管如此,样本流失、不遵从处理安排、单位之间的相互干扰,以及研究样本与目标总体之间的差异,都可能使解释变得复杂。用于实验结果的统计模型必须与实际的分配和观测过程保持一致;再精巧的拟合方程,也无法事后补上实验设计中缺失的要素。

计算、近似与高维模型

统计模型的设定与统计计算是两回事。模型可能明确定义了后验分布或最大似然估计,但求解它们在数值上仍然十分困难。反过来,即使模型不可识别或缺乏足够的信息支持,算法也可能给出稳定的结果。计算诊断所检验的是算法是否充分解决了所分配的问题,而不是底层假设在科学上是否恰当。

通过似然进行拟合往往需要数学优化。牛顿类方法利用梯度和曲率,而梯度下降利用一阶信息。与一般的非凸目标函数相比,凸目标函数能提供更强的全局保证;非凸目标函数则可能存在多个局部最优解。期望最大化算法交替执行两个步骤:计算完整数据相关量的期望,以及更新参数。它尤其适用于含有潜变量和缺失数据的情形,但可能收敛缓慢,也可能因初始值不同而收敛到不同的驻点。

对于贝叶斯模型,马尔可夫链蒙特卡洛以后验分布为目标,生成相互依赖的模拟样本。其准确性取决于对相关分布的探索是否充分,而不只是生成的样本数量。多个彼此分离的众数、后验中的强依赖关系以及参数尺度不当,都可能妨碍链的混合。变分推断则在一个便于计算的分布族内近似目标分布,通常通过优化与散度有关的目标函数来实现。它的速度可能更快,但近似分布族的限制可能扭曲依赖关系或低估不确定性。

当候选参数的数量与样本量相当或超过样本量时,就会出现高维问题。在线性回归中,如果设计矩阵的列数超过线性无关行的数量,那么在没有额外约束的情况下,未加惩罚的系数通常无法唯一确定。稀疏性、低秩结构、平滑性或层级结构中的信息共享,可以使估计变得可行。这些假设提供了信息,而不只是计算上的便利。维数灾难解释了为什么当数据需要覆盖庞大的预测变量空间时,广泛适用的非参数估计会变得困难。

统计模型与机器学习有着密切联系,但两者并不等同。人工神经网络可以定义条件均值或完整的预测分布,许多学习目标也是负对数似然或正则化似然。另一些算法则只规定预测规则,而不提供完整的生成模型。无论哪种情况,都必须区分训练表现与泛化能力,并且需要明确解释不确定性的含义。数值精度、收敛性和数值稳定性同样重要:重新缩放协变量或对模型重新参数化,可以在不改变其底层统计分布族的情况下,大幅改善计算表现。

历史发展与学科联系

统计建模源于综合不确定的测量结果、研究群体现象的规律以及推断未知物理量的尝试。阿德里安-马里·勒让德于1805年发表了最小二乘法。卡尔·弗里德里希·高斯于1809年从概率角度加以阐述,将最小二乘法与正态误差模型联系起来。这些进展推动了一种观念的确立:可以在确定性的科学关系之外,辅以对观测误差的数学描述。

19世纪,概率分布和相关分析方法拓展了统计方法所能描述的现象范围。皮埃尔-西蒙·拉普拉斯对逆概率和大样本近似作出了重要贡献。此后,对生物变异和遗传的研究推动了回归方法和多变量描述的应用。由此形成的模型不再局限于描述精确物理定律周围的测量误差:变异本身也成为科学分析的对象。

20世纪初,罗纳德·费希尔系统阐述了基于似然的推断中的核心概念,包括充分性和有效性。他于1922年发表的论文《论理论统计学的数学基础》,是对这一研究纲领的重要阐述。耶日·内曼和埃贡·皮尔逊建立了基于错误概率的假设检验框架,并于1933年合作发表了一篇重要论文。内曼随后关于置信区间的研究,进一步将重复抽样下的保证形式化。这些进展使统计模型不仅成为描述数据的工具,也成为评价统计方法的基础。

20世纪中叶的理论发展既拓展了数学基础,也扩大了应用范围。亚伯拉罕·瓦尔德发展了统计决策理论,而与安德雷·柯尔莫哥洛夫密切相关的测度论框架,则为严格处理概率和随机过程提供了基础。计量经济学强调识别、联立关系,以及观测到的相关性与结构性解释之间的区别。随机过程研究为排队系统、信号、种群以及具有时间依赖性的观测提供了模型。

后来的进展提高了建模的灵活性和计算能力。约翰·内尔德和罗伯特·韦德伯恩于1972年提出广义线性模型;考克斯于同年提出比例风险模型。赤池弘次于1974年提出的AIC,以及吉迪恩·施瓦茨于1978年提出的模型选择准则,为处理模型复杂度提供了影响深远的方法。布拉德利·埃夫龙于1979年提出自助法。此后,计算能力不断增强,使基于模拟的贝叶斯推断、大型层次模型和灵活的预测方法成为许多学科中的常规工具。

统计模型与信息论的联系,使人们可以通过熵和散度来解释似然比较。它与几何学的联系,则将光滑分布族视为几何对象;在适当条件下,费希尔信息可为其提供局部度量。在当代应用中,统计模型与机理仿真、数据库和机器学习系统协同使用。物理仿真器可以提供均值结构,而统计模型则用于表示测量噪声与模型偏差;预测算法也可以作为某个组成部分,纳入更大的模型之中,以描述抽样、选择和不确定性。