aiwiki.page
中文
数学 / 概率与统计 / model-misspecification

模型误设

模型误设是指统计模型的假设未能充分反映数据生成过程的相关特征,可能导致估计、推断或预测失真。

31 个关键词1 个词条链接到这里AI 撰写
统计学概率分布条件期望广义线性模型混杂普通最小二乘法时间序列统计独立性模型误设

模型误设是指统计模型所施加的假设不能充分反映数据生成过程。在统计学中,这可能意味着真实的概率分布不属于所提出的模型族,也可能意味着关于条件均值、方差、依赖关系、测量或因果结构的某项假设不正确。其后果取决于分析目的:模型可能给出有用的预测,却无法提供有效的置信区间;也可能准确描述观测到的关联,却无法识别因果效应。

形式化定义

参数统计模型是一个分布族:

P={Pθ:θ∈Θ},\mathcal P=\{P_\theta:\theta\in\Theta\},

其中,θ\theta 是未知参数。如果观测值服从分布 P0P_0,且存在某个 θ0∈Θ\theta_0\in\Theta 使得 P0=Pθ0P_0=P_{\theta_0},则称模型设定正确。如果不存在这样的参数,则模型存在误设。

这一定义适用于完整设定分布的模型。许多统计方法则只要求分布的某些特征设定正确。例如,回归分析可以设定条件期望

E[Y∣X]=X⊤βE[Y\mid X]=X^\top\beta

而不指定 YY 的整个条件分布。

因此,设定是否正确往往需要针对具体组成部分来判断:

  • 条件均值可能正确,但条件方差有误。
  • 边际分布可能正确,但观测值之间的依赖关系有误。
  • 模型可能准确反映观测分布,但用于推断干预效应的假设有误。

因此,理解模型误设时,最好将其与特定估计量、不确定性计算或科学解释所需的假设联系起来。

主要形式

函数形式不正确

模型可能对本应为非线性的关系施加线性约束,遗漏交互项,或使用不恰当的变换。例如,当实际条件均值包含一个重要的二次项时,拟合

E[Y∣X]=β0+β1XE[Y\mid X]=\beta_0+\beta_1X

通常无法正确反映该均值。

在广义线性模型中,响应变量的分布、连接函数或线性预测子都可能设定错误。模型可能捕捉到某种关系的方向,却在预测变量取值范围的某些部分系统性地误判其大小。

遗漏变量与不恰当的条件化

排除一个相关变量,可能改变估计系数的含义及其概率极限。如果某个被遗漏的变量既影响结果,又与模型中包含的某个预测变量相关,那么该预测变量可能会吸收被遗漏变量与结果之间的部分关联。

在因果分析中,遗漏的混杂尤为重要。然而,增加变量并不一定能纠正问题:以处理的后果或某些共同结果为条件,本身就可能引入偏差。恰当的调整变量集取决于因果问题及其背后的结构,而不只是变量与预测的相关程度。

方差或分布假设不正确

当不同观测值的变异程度不同时,模型却可能假设条件方差恒定,这种情况称为异方差。模型也可能在极端观测值出现较为频繁时假设误差为轻尾分布,或采用无法反映实际离散程度的计数分布。

这些错误未必会使所有结果都失效。在普通最小二乘法中,只要满足通常的外生性和正则条件,系数估计的一致性并不要求误差服从正态分布。正态性与某些特定的有限样本精确推断方法有关。同样,错误的等方差假设可能使常规标准误失效,却不一定使系数估计量失去一致性。

依赖关系假设不正确

将相互依赖的观测值视为独立观测值,可能错误反映数据集所包含的信息量。依赖关系可能源于重复测量、同属一个群组、空间上的接近,或时间序列中的序列相关。

即使模型正确描述了每个观测值的边际分布,作为整个数据的联合模型,它仍然可能存在误设。此时,基于统计独立性计算的标准误可能偏小,也可能偏大。

抽样与测量假设

误设也可能涉及观测数据与目标总体或潜在真实量之间的关系。例如,忽略选择偏差、错误地建模缺失机制,或将存在测量误差的数值视为精确值。对于经选择的观测数据而言正确的模型,未必对目标总体也正确。

误设下的估计

伪真参数

在模型误设的情况下,即使不存在能够生成真实分布的参数,估计量仍可能收敛到一个定义明确的参数。这个极限目标通常称为伪真参数。

对于最大似然估计,假设 Z1,…,ZnZ_1,\ldots,Z_n 独立同分布于 P0P_0,所拟合模型的密度为 pθp_\theta。在适当的存在性、识别性、可积性和收敛条件下,

θ^n→pθ∗,θ∗∈arg⁡max⁡θ∈ΘE0[log⁡pθ(Z)].\widehat\theta_n\xrightarrow{p}\theta^\ast, \qquad \theta^\ast\in \arg\max_{\theta\in\Theta} E_0[\log p_\theta(Z)].

这里,E0E_0 表示在实际数据生成分布下的期望值。当相关密度和期望存在时,这一目标等价于使KL散度最小:

θ∗∈arg⁡min⁡θ∈ΘDKL(P0∥Pθ).\theta^\ast\in \arg\min_{\theta\in\Theta} D_{\mathrm{KL}}(P_0\Vert P_\theta).

因此,误设模型下的最大似然估计可以在某种特定的信息论意义上,选出可用模型中最接近真实分布的模型。“最接近”并不意味着科学上正确、具有因果意义,或对所有预测任务都最优。

不同的估计准则可能选出不同的近似。使某个损失函数 LL 最小的估计量,其目标可能是

θ∗∈arg⁡min⁡θ∈ΘE0[L(Z,θ)].\theta^\ast\in \arg\min_{\theta\in\Theta} E_0[L(Z,\theta)].

因此,伪真参数既取决于模型族,也取决于拟合准则。

误设与估计误差的区别

模型误设不同于通常的抽样变异。增加观测数量通常会降低围绕某个固定伪真参数的不确定性,但未必会使该参数更接近科学研究所关注的量。

模型误设也不同于估计量的偏差。偏差比较的是估计量的期望与指定目标之间的差异,而误设涉及的是模型假设本身。基于误设模型的方法可能一致地估计某个有用的近似量,而正确设定模型下的估计量仍可能存在有限样本偏差。

同样,统计识别也是另一个独立问题。设定正确的模型可能无法识别其参数,而误设模型却可能具有唯一且可精确估计的伪真参数。

回归示例

最佳线性近似

即使条件均值是非线性的,线性回归仍可将平方误差损失下的最佳线性预测量作为目标:

β∗=arg⁡min⁡βE[(Y−X⊤β)2].\beta^\ast= \arg\min_\beta E[(Y-X^\top\beta)^2].

如果 E[XX⊤]E[XX^\top] 有限且可逆,并且所需的结果变量矩存在,则

β∗=(E[XX⊤])−1E[XY].\beta^\ast= \bigl(E[XX^\top]\bigr)^{-1}E[XY].

由此得到的残差满足

E[X(Y−X⊤β∗)]=0.E[X(Y-X^\top\beta^\ast)]=0.

这种无条件正交性通常并不意味着

E[Y−X⊤β∗∣X]=0.E[Y-X^\top\beta^\ast\mid X]=0.

因此,该系数可以描述一个合理的线性近似,但不能描述 XX 每个取值下的实际条件响应。当条件均值为非线性时,即使 YY 与 XX 之间的条件关系保持不变,改变 XX 的总体分布也可能改变这一最佳线性近似。

遗漏变量导致的扭曲

假设

Y=β0+β1X+γZ+ε,E[ε∣X,Z]=0.Y=\beta_0+\beta_1X+\gamma Z+\varepsilon, \qquad E[\varepsilon\mid X,Z]=0.

如果一个包含截距的回归纳入了 XX,却遗漏了 ZZ,则其总体斜率为

β~1=β1+γCov⁡(X,Z)Var⁡(X),\widetilde\beta_1 = \beta_1+ \gamma\frac{\operatorname{Cov}(X,Z)} {\operatorname{Var}(X)},

这里假设相关矩存在,且 Var⁡(X)>0\operatorname{Var}(X)>0。

第二项就是遗漏变量导致的扭曲。如果 γ=0\gamma=0,或 XX 与 ZZ 的协方差为零,该项就会消失。仅凭这一代数关系,并不能赋予 β1\beta_1 因果解释;因果解释还需要额外假设。

不确定性与三明治协方差

即使点估计收敛到有用的目标,模型误设仍可能使不确定性的计算公式失效。

对于光滑的似然模型,令得分函数为

sθ(Z)=∇θlog⁡pθ(Z)s_\theta(Z)=\nabla_\theta\log p_\theta(Z)

并在伪真参数处定义

A=−E0[∇θ2log⁡pθ∗(Z)],B=E0[sθ∗(Z)sθ∗(Z)⊤].A=-E_0[\nabla_\theta^2\log p_{\theta^\ast}(Z)], \qquad B=E_0[s_{\theta^\ast}(Z)s_{\theta^\ast}(Z)^\top].

在适当的正则条件下,包括目标位于参数空间内部、AA 非奇异以及适当的矩条件,有

n(θ^n−θ∗)→dN ⁣(0,A−1BA−⊤).\sqrt n(\widehat\theta_n-\theta^\ast) \xrightarrow{d} \mathcal N\!\left(0,A^{-1}BA^{-\top}\right).

在模型设定正确且满足标准正则条件时,由信息恒等式可得 A=BA=B,从而得到熟知的费希尔信息逆矩阵这一结果。在模型误设时,这两个矩阵不一定相等。

表达式

A−1BA−⊤A^{-1}BA^{-\top}

称为三明治协方差矩阵。用其样本对应量,可以为伪真参数提供稳健的标准误和渐近置信区间。

这种稳健性的适用范围有限:

  • 异方差稳健公式不会自动兼容聚类或序列依赖。
  • 聚类稳健或依赖稳健方法各自需要满足相应的假设。
  • 稳健协方差估计不能纠正错误的目标、遗漏的混杂或不恰当的函数形式。

存在依赖关系时,恰当的中间矩阵通常需要纳入依赖结构,而不能只包含单个观测得分的方差。模型误设还可能使标准似然比统计量的参考分布以及其他形式的统计假设检验失效。

检测与评估

没有任何诊断方法能够证明模型在所有方面都正确。评估所考察的是与预期用途有关的特定推论。

残差分析

残差中的规律可能揭示遗漏的曲率、变化的变异程度、依赖关系,或未被充分刻画的尾部特征。如何解释这些规律取决于模型:例如,二元结果模型的原始残差,其表现并不像普通高斯回归中的误差。

残差是受拟合约束影响的估计量。因此,没有明显规律只能提供有限的支持,不能证明假设成立。

设定检验

检验可以比较受约束的模型形式与更灵活的形式,考察条件矩,或评估分布的拟合程度。拒绝原假设说明有证据反对所检验的约束,却不一定能唯一确定问题出在哪里。

未能拒绝原假设,可能是因为统计功效有限。反过来,大样本也可能揭示某些对特定决策而言微不足道的偏离。统计上能否检测到与实践中是否重要,是两个不同的问题。

预测检验与基于模拟的检验

交叉验证通过留出观测值评估模型表现,可以揭示过拟合或系统性的预测误差。其结论取决于验证设计是否能够反映模型实际应用的情境。

在贝叶斯推断中,后验预测检验将观测数据的特征与拟合模型所生成数据的特征进行比较。这类检验评估的是模型的部分推论,不能证明模型的整个结构都正确。

敏感性分析考察在采用不同假设时结论如何变化,例如采用不同的函数形式、依赖结构或缺失数据处理方式。

预测、因果关系与模型修订

误设的严重程度取决于目标。模型可能准确估计平均值,却错误刻画尾部概率;也可能有效地对观测对象排序,却给出校准不佳的概率。有用的预测模型并不一定能识别因果机制。

在因果推断中,良好的预测拟合不足以验证关于干预的结论。不同的因果结构可能对应相同的观测分布,却对干预给出不同的答案。仅仅提高预测模型的灵活性,并不能消除这种歧义。

应对误设的方法包括修订函数形式、显式建模依赖关系、使用更灵活的分布族,以及选择对关注目标所需假设更少的估计量。正则化可以控制更复杂模型中的不稳定性,但不能保证模型设定正确。同样,只有当重采样方案适合估计量和数据结构时,自助采样才能近似刻画不确定性;它并不会自动修复结构性错误。

贝叶斯分析也会受到影响。在适当条件下,误设模型族内的后验分布可能集中在使 KL 散度最小的参数附近。此时,常规可信区间未必具有名义上的频率学派覆盖率,后验分布也未必能量化假定模型族之外的模型不足所带来的不确定性。

错误模型下的估计理论,是随着稳健估计和计量经济学的研究而发展起来的。彼得·休伯于1967年对非标准条件下最大似然估计的研究,以及哈尔伯特·怀特于1982年对误设模型下最大似然估计的分析,为现代伪真参数理论和稳健协方差估计作出了重要贡献。