aiwiki.page
中文
数学 / 概率与统计 / missing-at-random

随机缺失

随机缺失是一种统计假设:在给定已观测信息后,缺失概率仅取决于这些信息,而不再取决于未观测值。

19 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
统计学缺失数据插补条件概率条件独立性随机抽样概率分布估计量的偏差似然函数随机缺失

**随机缺失(missing at random,MAR)**是统计学中关于缺失值如何产生的一项假设。它指出,在给定已观测信息的条件下,某种特定缺失模式出现的概率不取决于缺失值本身。尽管名称中有“随机”二字,MAR 并不要求缺失毫无规律或与数据无关:它允许缺失情况存在可由已观测变量解释的系统性差异。这一假设是基于似然的分析和缺失数据插补的核心,因为在满足其他条件时,它允许研究者在不显式建模缺失值产生过程的情况下进行推断。

形式化定义

设 YY 表示在没有任何缺失时能够获得的完整数据,RR 为相应的观测指示变量向量,其中,当 YjY_j 被观测到时,Rj=1R_j=1;当其缺失时,Rj=0R_j=0。对于某个特定的缺失模式 rr,将完整数据写为

Y=(Yobs(r),Ymis(r)),Y=\bigl(Y_{\mathrm{obs}}(r),Y_{\mathrm{mis}}(r)\bigr),

其中两个分量分别包含该模式下的观测值和缺失值。

设缺失机制具有如下条件概率:

gψ(r∣y)=Pψ(R=r∣Y=y),g_\psi(r\mid y)=P_\psi(R=r\mid Y=y),

其中,ψ\psi 表示控制缺失机制的参数。MAR 要求,对于所考虑的缺失模式和观测值,

gψ(r∣y)=gψ(r∣yobs(r)).g_\psi(r\mid y) = g_\psi\bigl(r\mid y_{\mathrm{obs}}(r)\bigr).

因此,在保持已观测信息不变时,改变未观测值不会改变该缺失模式出现的概率。

使用依赖于缺失模式的记号很重要:哪些值属于观测值,取决于 rr。“给定观测数据后,缺失情况与缺失数据相互独立”之类的非正式表述传达了主要思想,但可能掩盖这种依赖关系。

一个常见的特例

假设 XX 被完整观测,YY 可能缺失,且 R=1R=1 表示 YY 被观测到。此时 MAR 可写为

P(R=1∣X,Y)=P(R=1∣X).P(R=1\mid X,Y)=P(R=1\mid X).

等价地,

R⊥ ⁣ ⁣ ⁣⊥Y∣X,R\mathrel{\perp\!\!\!\perp}Y\mid X,

这表示给定 XX 后,观测状态与 YY 条件独立。

当 P(R=1∣X=x)>0P(R=1\mid X=x)>0 时,由此可得

f(y∣X=x,R=1)=f(y∣X=x).f(y\mid X=x,R=1)=f(y\mid X=x).

因此,在由相同 XX 值界定的组内,已观测结局的条件分布与全组结局的条件分布相同。不过,已观测个案中 XX 的分布仍可能与其在总体中的分布存在很大差异。

已实现 MAR 与处处 MAR

形式化论述区分以下两个版本:

  • 已实现 MAR:对于实际出现的缺失模式和观测值,要求上述限制在这些数据所有可能的补全方式下均成立。
  • 处处 MAR:对于每一种可能的缺失模式及与之相容的每组数据值,都要求上述限制成立。

在明确可忽略性结论的适用范围时,这一区别很重要。足以使某个已观测数据集的似然分解的条件,并不一定足以支持关于分析程序的所有重复抽样性质的论断。

与其他缺失机制的比较

通常将 MAR 与另外两种假设加以区分。

机制 允许的依赖关系
[[missing-completely-at-random 完全随机缺失]](MCAR)
随机缺失(MAR) 缺失情况可以依赖于观测值,但在此之外不再依赖于缺失值。
[[missing-not-at-random 非随机缺失]](MNAR)

MCAR 比 MAR 施加了更强的限制。在 XX 被完整观测、YY 仅被部分观测的简单情形下,

MCAR:P(R=1∣X,Y)=P(R=1),MAR:P(R=1∣X,Y)=P(R=1∣X).\begin{aligned} \text{MCAR:}\quad& P(R=1\mid X,Y)=P(R=1),\\ \text{MAR:}\quad& P(R=1\mid X,Y)=P(R=1\mid X). \end{aligned}

MAR 并不意味着已观测个案构成原始数据集的简单随机样本,也不意味着缺失比例很小,或缺失个案与已观测个案具有相同的边际概率分布。

示例

考虑一项调查,其中每个人的年龄都有记录,但收入有时缺失。

  • 如果由一个独立的随机装置决定是否记录收入,则该机制为 MCAR。
  • 如果是否记录收入取决于已记录的年龄,但在各年龄组内不取决于收入,则该机制为 MAR。
  • 如果即使在已记录年龄相同的人群中,收入较高者也更不愿报告收入,则相对于现有信息而言,该机制为 MNAR。

在 MAR 情形下,回答者与未回答者的平均收入可能不同,因为他们的年龄分布不同。因此,即使 MAR 成立,未经调整的已报告收入均值仍可能存在偏差。

MAR 为何对推断重要

区分缺失机制及其可忽略条件的现代框架由唐纳德·鲁宾于 1976 年提出。其核心认识是:完整数据的分布与决定哪些数据被观测到的机制,是统计模型中两个不同的组成部分。

假设用 fθ(y)f_\theta(y) 对完整数据建模,用 gψ(r∣y)g_\psi(r\mid y) 对缺失情况建模。基于观测值和缺失模式的似然函数为

L(θ,ψ;yobs,r)=∫fθ(yobs,ymis)gψ(r∣yobs,ymis) dymis,L(\theta,\psi;y_{\mathrm{obs}},r) = \int f_\theta(y_{\mathrm{obs}},y_{\mathrm{mis}}) g_\psi(r\mid y_{\mathrm{obs}},y_{\mathrm{mis}}) \,d y_{\mathrm{mis}},

对于离散型缺失值,应以求和代替积分。

在 MAR 下,缺失机制因子不依赖于缺失值,因此可以提到积分号外:

L(θ,ψ;yobs,r)=gψ(r∣yobs)∫fθ(yobs,ymis) dymis.L(\theta,\psi;y_{\mathrm{obs}},r) = g_\psi(r\mid y_{\mathrm{obs}}) \int f_\theta(y_{\mathrm{obs}},y_{\mathrm{mis}}) \,d y_{\mathrm{mis}}.

如果 θ\theta 和 ψ\psi 是可分离的参数,即它们的联合参数空间为笛卡尔积,且不存在将两者联系起来的约束,那么关于 θ\theta 的似然推断就可以不考虑缺失机制因子。此时,相关的观测数据似然为

Lobs(θ)=∫fθ(yobs,ymis) dymis.L_{\mathrm{obs}}(\theta) = \int f_\theta(y_{\mathrm{obs}},y_{\mathrm{mis}}) \,d y_{\mathrm{mis}}.

这就是缺失机制可以忽略的主要含义。忽略缺失机制,并不等于忽略存在缺失的观测记录,也不等于只分析完整记录。

对于贝叶斯推断,通常还要求先验分布能够作适当分解,常见的要求是数据模型参数与缺失机制模型参数相互独立:

p(θ,ψ)=p(θ)p(ψ).p(\theta,\psi)=p(\theta)p(\psi).

因此,仅凭 MAR 并不能确立适用于所有推断目的的可忽略性。模型设定正确、满足相关参数条件仍然是必要的,而具体估计量的重复抽样性质还需要另行论证。

MAR 下的分析方法

观测数据似然

最大似然估计可以直接使用观测数据似然,通过对缺失值积分,而不是用固定的猜测值填补它们。计算时可使用期望最大化算法或其他数值方法。

例如,针对多个测量变量建立的联合模型,可以利用每条记录中已观测到的分量,包括不完整记录中的分量。对部分信息的这种利用,使观测数据似然方法区别于完整个案分析。

多重插补

多重插补利用缺失值的预测分布,生成多个合理的完整数据集。对每个数据集分别进行分析,再合并结果,以同时反映每次插补内部的不确定性和缺失值本身的不确定性。

在基于 MAR 的分析中,插补模型需要恰当地表示那些能够预测缺失情况和缺失值的相关已观测变量。实质性分析中纳入的变量、非线性关系以及交互作用也可能很重要。即使 MAR 成立,设定不当的插补模型仍可能使分析出错。

用一个预测值替换每个缺失值,并不等同于多重插补。将这些替代值当作已知观测值,通常无法反映缺失值的不确定性,并可能使标准误失真。

逆概率加权

在 XX 被完整观测、YY 仅被部分观测的简单情形下,令

π(X)=P(R=1∣X).\pi(X)=P(R=1\mid X).

在 MAR 以及适当的正值性和可积性条件下,

E ⁣[RYπ(X)]=E[Y].E\!\left[\frac{RY}{\pi(X)}\right]=E[Y].

这里,加权贡献只对已观测结局进行计算;缺失结局的贡献为零。这一恒等式构成了逆概率加权的依据:赋予已观测个案的权重与其被观测到的概率成反比。

该方法需要对观测概率建立恰当的模型。极小的概率可能产生很大的权重,导致估计不稳定。

完整个案分析

MAR 通常不足以成为删除所有含缺失值记录的理由。这样做可能改变与目标量有关的变量分布,并降低精度。

不过,在特定条件下,完整个案分析仍然可以有效。例如,当预测变量 XX 被完整观测、只有结局 YY 缺失,并且是否被观测取决于 XX,但在给定 XX 后不再取决于 YY 时,完整个案保留了相同的给定 XX 的结局条件分布。此时,可能可以利用这些个案估计设定正确的条件回归模型。但这并不意味着,可以直接依据这些个案未经调整的分布来估计总体的边际量。

评估与局限

通常无法仅凭观测数据检验 MAR

MAR 的关键限制涉及未被观测到的值。如果没有额外假设,不同的 MAR 和 MNAR 模型可能产生相同的观测数据分布。因此,模型拟合良好或诊断检验结果不显著,并不能确立 MAR。

缺失指示变量与已观测变量之间的关系,可以提供反对 MCAR 的证据,但不能确定在给定已观测信息后,缺失情况是否还依赖于未观测值。

这是一个统计识别问题,而不仅仅是样本量问题:即使观测样本任意大,也未必能够区分关于未观测结局的不同假设。

MAR 取决于可用信息

MAR 是相对于已观测且纳入条件信息的变量而言的。如果缺失机制依赖于某个被遗漏的变量,那么在无法获得该变量时,它可能表现为 MNAR;但如果每个人的这一变量都有测量值,并且该变量能够充分解释这种依赖关系,则可能满足 MAR。

因此,收集辅助信息可以提高 MAR 假设的可信度。然而,仅仅加入大量预测变量,并不能证明这一假设成立,也不能保证分析模型正确。

正值性与支持集

仅有 MAR 并不能保证可以从已观测个案中推知所有缺失值的情况。如果某个亚组没有任何已观测结局,通常就无法仅凭数据对其结局分布进行非参数识别。

在只有结局缺失的简单情形下,一个常见要求是,在与目标总体相关的整个协变量支持集上,均有

P(R=1∣X=x)>0P(R=1\mid X=x)>0

否则,对某些群体的推断必然依赖于额外信息或基于模型的外推。

对偏离 MAR 的敏感性

由于通常无法仅凭观测数据确立 MAR,可以通过敏感性分析,考察在以指定方式偏离 MAR 时,结论会如何变化。一种做法是使缺失结局的条件均值相对于 MAR 下的预测值发生偏移:

E[Y∣X,R=0]=E[Y∣X,R=1]+δ.E[Y\mid X,R=0] = E[Y\mid X,R=1]+\delta.

这里,δ=0\delta=0 表示两个条件均值相等,非零值则描述特定的偏离情形。均值相等比 MAR 所蕴含的整个条件分布相等更弱,因此,这种参数化只涉及可能的非随机缺失的一个方面。

更一般的敏感性分析会对依赖于结局的缺失机制建模,或对各缺失模式下的结局分布建模。这些分析中的额外假设,描述的是观测数据无法识别的缺失值特征。