aiwiki.page
中文
数学 / 概率与统计 / multiple-imputation

多重插补

多重插补通过生成多个合理的完整数据集并合并分析结果,处理缺失数据并反映缺失值的不确定性。

37 个关键词3 个词条链接到这里4 个尚未撰写AI 撰写
缺失数据插补方差贝叶斯推断随机缺失条件独立性后验预测分布后验分布正态分布多重插补

多重插补是一种分析不完整数据的统计方法:为每个缺失值填入多个合理的候选值,从而生成多个完整数据集。研究者在每个数据集上分别进行预定的分析,再按照相应规则合并结果,同时考虑通常的抽样不确定性和缺失值的不确定性。与单个填补后的完整数据集不同,这组数据集呈现了与已观测信息及插补模型假设相符的多种可能填补结果。

这种方法之所以重要,是因为观测值缺失可能降低估计精度并使估计产生偏差,而简单的替代方法(例如用已观测值的均值填补所有缺失值)通常无法充分反映不确定性。多重插补是缺失数据插补的一种形式,主要用于统计推断,而不只是为了构建完整的数据表。其有效性取决于有关缺失机制的假设、用于生成插补值的模型,以及该模型与后续分析之间的关系。主要方法包括联合概率模型和链式条件模型;核心方法学问题涉及结果合并、模型相容性、计算稳定性,以及对未观测到的缺失原因的敏感性。

起源与插补和分析的分离

唐纳德·B. 鲁宾于20世纪70年代奠定了多重插补的理论基础,并在1987年出版的《调查无应答的多重插补》中作了系统阐述。提出这一方法的一个重要动因,是数据收集机构与数据分析研究者之间的分工。调查实施机构可能掌握有关抽样过程、应答模式和辅助变量的详细信息,而对数据进行二次分析的研究者则可能需要拟合多种不同的实质性模型。多重插补提供了一种途径,使机构能够在分发填补完整的数据集的同时,保留对无应答所致不确定性的表征。

多重插补的典型工作流程分为三个阶段。首先,插补程序生成原始数据集的 mm 个完整版本。观测值通常保持不变,而缺失项的填补值在各个版本中有所不同。其次,分析者对每个版本采用相同的完整数据分析方法。最后,将估计值及其不确定性度量合并。例如,如果目标是估计某个回归系数,那么每个数据集都会产生一个系数估计值及其估计方差。合并时要同时利用这两项,而不只是对系数取平均。

这种分离具有重要意义。插补模型描述不完整数据足够丰富的分布特征,而分析模型则针对某个具体的科学问题,两者不必相同。插补模型可以包含最终回归模型中未使用的辅助预测变量,因为这些变量有助于解释缺失的发生或预测缺失值。反过来,如果分析涉及非线性效应或亚组比较,插补程序就必须保留相应的关系。因此,要使插补后的数据集能够广泛适用于多种分析,就需要比仅为某项范围狭窄、要求明确的分析准备数据集时更充分的建模。

多重插补并不等于反复运行任意一种填补算法。用均值填补生成二十个完全相同的数据集,并不能提供任何有关缺失值不确定性的信息。随意添加噪声也不够:填补值的变异必须依据适当的预测模型进行校准,而且通常还必须纳入模型参数的不确定性。这种方法也并非旨在找出某个个体原本会报告的确切数值。它的主要目标是支持对总体量及其不确定性的有效估计。

从历史上看,多重插补与处理不完整数据的基于似然的方法,以及基于模拟的贝叶斯推断共同发展。随着计算能力的提升使反复拟合模型变得切实可行,这一方法的应用逐渐扩大。此后,通用统计软件中的相关实现,使专门的插补程序能够与人们熟悉的回归分析、调查分析和纵向分析程序结合使用。这种模块化至今仍是多重插补在实际应用中的核心特点之一。

缺失机制与识别假设

设 YY 表示不存在缺失时本应获得的数据,将其划分为观测值 YobsY_{\mathrm{obs}} 和缺失值 YmisY_{\mathrm{mis}}。设 RR 为相应的响应指示变量,其元素在数据被观测到时取 1,缺失时取 0。缺失机制规定了给定 YY 时 RR 的条件分布,也可能同时以完全观测到的协变量 XX 为条件。这些区分描述的是数据生成过程,而不只是对某种空白单元格分布模式的命名。

当响应模式的概率不依赖于已观测或未观测的数据值时,数据的缺失机制称为完全随机缺失。例如,随机选取的一批记录意外损毁,就可能近似符合这一条件。在这种情况下,完整案例分析对许多目标量的估计仍可能保持无偏,但会损失信息。这一假设比多重插补通常所需的假设更强。

在随机缺失(简称 MAR)条件下,缺失可以依赖于已观测信息,但在给定这些信息后,不再额外依赖于缺失值。用符号表示为:

p(R∣Yobs,Ymis,X)=p(R∣Yobs,X).p(R\mid Y_{\mathrm{obs}},Y_{\mathrm{mis}},X) = p(R\mid Y_{\mathrm{obs}},X).

假设年轻受访者的收入数据更容易缺失,年龄已被观测到,且在各年龄组内,收入不回答的概率不再依赖于收入本身。那么,以年龄为条件时,这种缺失机制就与 MAR 相容。“随机缺失”并不意味着缺失在无条件意义上是随机的,而是表达了一项特定的条件独立假设。

如果在给定已有观测信息后,响应概率仍依赖于未观测值,则数据的缺失机制称为非随机缺失,简称 MNAR。例如,在按已观测人口统计特征划分的群体内,收入不回答的概率仍依赖于收入本身。常规的基于 MAR 的插补通常无法消除由此产生的偏差。此时需要对这种与未观测值的依赖关系作出明确假设,而仅凭观测数据,通常无法区分所有相关的 MAR 和 MNAR 解释。

鲁宾的可忽略性框架将这些机制与统计推断联系起来。在 MAR 成立,且支配数据模型和缺失模型的参数满足适当的可分离性条件时,对数据模型参数进行基于似然的推断,往往可以不必显式地建模响应过程。贝叶斯可忽略性还要求先验信息具有适当的分离性。这些结果为许多标准插补方法提供了依据,但并不意味着任何插补模型在 MAR 条件下都足够恰当。

以哪些变量为条件至关重要。给定一组丰富的已观测辅助变量时,某种机制可能满足 MAR;但给定实际用于插补的较小变量集时,它却可能不满足 MAR。已知的抽样限制、结构性不适用、删失和截断也需要分别处理。如果某个问题对某位受访者而言没有定义,就不能简单地将其视为普通的缺失回答;若将其当作原则上可以观测到的值来插补,可能会改变分析的含义。

预测分布与适当插补

生成插补值的一种有理论依据的方法,是从后验预测分布中抽样。令 θ\theta 表示完整数据模型的参数。在缺失机制可忽略的情况下,预测分布具有如下形式:

p(Ymis∣Yobs)=∫p(Ymis∣Yobs,θ)p(θ∣Yobs) dθ.p(Y_{\mathrm{mis}}\mid Y_{\mathrm{obs}}) = \int p(Y_{\mathrm{mis}}\mid Y_{\mathrm{obs}},\theta) p(\theta\mid Y_{\mathrm{obs}}) \,d\theta.

这一积分对参数的不确定性取平均,而不是将拟合得到的参数视为已知量。在实际操作中,可以先从参数的后验分布中抽取一个参数值,再以该参数值和观测数据为条件抽取缺失值,从而完成一次插补。

因此,变异有两个不同的来源。即使模型参数已知,未观测到的响应通常仍然具有不确定性,因为预测变量取值相同的个体,其结果并不完全相同。此外,参数本身也是根据有限数据估计出来的。对于正态回归插补模型,适当的模拟通常先抽取回归系数和残差方差,再为缺失的响应抽取残差误差。用拟合的条件均值填补缺失值,会遗漏残差变异。而在固定参数估计值的情况下抽取残差,通常又会遗漏另一部分不确定性。

适当插补一词指的是一组技术条件:在这些条件下,插补程序能够通过通常的合并规则,支持有效的重复抽样推断。它并不等同于“随机插补”,也不保证实质分析模型是正确的。在合适的条件下,后验预测模拟是实现适当插补的一条主要途径。一些频率学派程序,包括精心构造的基于重抽样的方法,也能传递所需的不确定性。

一个基本例子是,用正态分布来描述存在缺失值的连续变量。如果方差已知,观测值将决定总体均值的不确定性,而每个缺失值也各自具有预测离散程度。为每个填补后的完整数据集抽取一个新的均值,会使该数据集内的插补值之间产生依赖关系。这种共享的参数抽样很重要:如果对每个缺失观测都独立地从预测分布中抽样,却没有保留恰当的联合依赖关系,就未必能再现总体汇总统计量的不确定性。

因此,贝叶斯计算往往是构建重复抽样推断程序的一种手段,并不要求最终分析也必须以贝叶斯方式报告。填补后的完整数据集可以用普通的线性回归或其他常见方法进行分析,再采用频率学派置信区间汇总结果。不过,当某些类别的观测数量很少、模型的可识别性较弱或缺失数据很多时,先验的选择可能产生重要影响。即使恰当地传递了不确定性,也无法弥补缺乏充分依据的模型或具有严重误导性的先验分布所带来的问题。

不完整数据的联合模型

联合模型插补为所有需要建模的变量指定一个联合概率分布。该分布决定了模拟缺失值所需的条件分布。一个常见的例子是假设由连续变量组成的向量服从多元正态分布。缺失分量的条件均值是已观测分量的线性函数,而条件协方差则反映了已观测变量能够为缺失变量提供多少信息。

将一个向量划分为已观测分量和缺失分量,在均值与协方差参数已知的情况下,条件均值为

μmis+Σmis,obsΣobs,obs−1(Yobs−μobs),\mu_{\mathrm{mis}} + \Sigma_{\mathrm{mis,obs}} \Sigma_{\mathrm{obs,obs}}^{-1} (Y_{\mathrm{obs}}-\mu_{\mathrm{obs}}),

条件协方差为

Σmis,mis−Σmis,obsΣobs,obs−1Σobs,mis.\Sigma_{\mathrm{mis,mis}} - \Sigma_{\mathrm{mis,obs}} \Sigma_{\mathrm{obs,obs}}^{-1} \Sigma_{\mathrm{obs,mis}}.

这些表达式清楚地说明了为什么与缺失变量相关的已观测变量能够改善插补效果。它们也说明了为什么仅使用条件均值并不足够:条件协方差表示在观测到预测变量后仍然存在的剩余不确定性。

当参数未知且缺失模式任意时,算法会交替抽取缺失值和模型参数。这种方法通常称为数据增广,源于马丁·坦纳和黄荣雄于1987年开展的研究。相关计算方法使用马尔可夫链蒙特卡洛。期望最大化算法可以提供似然估计或初始值,但仅凭其点估计,无法获得常规的适当多重插补所需的多次参数抽样。

单调缺失模式允许采用更简单的分解方式。将变量适当排序后,凡是在某个靠后变量上有观测值的记录,在所有靠前变量上也都有观测值。此时,联合分布可以表示为一系列回归,每个回归都以排序在前的变量为条件。依次抽样即可生成插补值,而不必像处理任意缺失模式时那样反复迭代。在纵向研究中,如果参与者退出后不再返回,失访就可能形成这种结构;但间歇性漏访会破坏单调性。

联合建模的优点是具有内部一致的概率模型,但混合数据类型会使模型设定更加困难。多元正态模型可能为二元变量或有界变量生成不可能出现的值。替代方案包括用于分类响应的潜变量模型、混合分布、广义联合模型和层次模型。在插补前对偏态的正值变量进行变换,可能改善拟合效果,但这种变换也会影响它与其他变量的关系。

对于聚类观测或重复观测,联合模型可以纳入随机效应和单位内部的依赖关系。模型是否充分,取决于它能否保留与分析相关的特征,例如学校之间的变异、重复测量之间的相关性、非线性趋势或各组特有的分布。如果遗漏这些结构,即使联合模型在数学上内部一致,也仍可能无法充分反映研究的实际情况。

链式方程与预测均值匹配

链式方程多重插补通常简称为 MICE,它为每个存在缺失值的变量分别建立一个条件模型。这类方法也称为完全条件设定。连续变量可以用正态回归进行插补,二元变量可以用逻辑回归,无序分类变量则可以用多项模型。这种灵活性使链式方程特别适合包含多种不同类型变量的数据集。

典型算法首先为缺失项填入临时值,然后依次循环处理各个存在缺失值的变量。对于每个变量,使用该变量有观测值的记录拟合模型,并将其他变量当前填补后的值作为预测变量。通过适当的随机抽样或其他随机过程体现模型不确定性,再用新生成的值替换缺失项。反复循环使信息得以在变量之间传递。运行适当的模拟链或保留适当的迭代结果,即可获得多个完整数据集,同时需要考虑模拟过程中的依赖结构。

与联合模型方法不同,一组条件模型并不必然对应同一个联合分布。这称为相容性问题。不相容的条件模型仍可能形成稳定的计算过程,但仅凭稳定性并不能证明该方法具备所需的统计性质。即使回归模型设定表面上看似合理,如果它们对非线性关系或方差施加了不一致的约束,也可能相互冲突。相容性问题与收敛问题不同:一条链即使趋于稳定,其所代表的插补方法仍可能不合适。

预测均值匹配是链式方程体系中广泛使用的一种方法。它通过回归类模型为有观测值和存在缺失值的个案计算预测均值,通常会引入随机变动,以反映参数不确定性。对于每个存在缺失值的个案,将预测值相近的已观测个案组成供体集,再从中随机选取一个实际观测到的响应值。由于插补的响应值来自供体的实际观测值,该方法能够将插补值保持在观测数据的取值范围内,并可避免为取正值的变量填入负值。

这种表面上的逼真性并不意味着预测均值匹配不依赖任何假设。其表现取决于预测模型、匹配规则、供体池大小以及可用的已观测个案。如果结局缺失的个案位于预测变量空间中很少或没有结局已观测个案的区域,匹配就无法提供数据本身不包含的信息。供体池过小,可能反复使用少数几个观测值;供体池过大,则可能削弱局部匹配的效果。常规的供体选择无法生成已观测个案中未曾出现的极端值。

链式方程还允许对确定性派生量进行被动更新,例如在对基础变量进行插补后,重新计算其平方项。这种更新能够保持代数上的一致性,但并不必然保留所分析的实质关系。当目标模型包含交互作用、非线性变换或其他普通的逐变量回归无法再现的结构时,就需要采用更专门的条件建模方法。

合并估计与量化不确定性

对于标量待估量 QQ,令 Q^j\hat Q_j 为其在补全后的数据集 jj 中的估计值,令 UjU_j 为该估计值在完整数据下的抽样方差的估计值。鲁宾合并规则将合并估计值和平均插补内方差定义为

Qˉ=1m∑j=1mQ^j,Uˉ=1m∑j=1mUj.\bar Q=\frac{1}{m}\sum_{j=1}^{m}\hat Q_j, \qquad \bar U=\frac{1}{m}\sum_{j=1}^{m}U_j.

插补间方差为

B=1m−1∑j=1m(Q^j−Qˉ)2,B=\frac{1}{m-1} \sum_{j=1}^{m}(\hat Q_j-\bar Q)^2,

总方差为

T=Uˉ+(1+1m)B.T=\bar U+\left(1+\frac{1}{m}\right)B.

合并后的标准误为 T\sqrt{T}。Uˉ\bar U 项表示即使补全后的数据集确实是实际观测所得,仍然存在的不确定性。插补间方差项表示数据集中未观测部分带来的额外不确定性。因子 1+1/m1+1/m 还计入了仅使用有限次插补所产生的模拟误差。

举例来说,假设五次插补得到的合并系数为 2.02.0,平均估计方差为 0.160.16,插补间方差为 0.040.04。则

T=0.16+1.2(0.04)=0.208,T=0.16+1.2(0.04)=0.208,

由此得到的标准误约为 0.4560.456。如果忽略插补间的变异,得到的标准误则为 0.4000.400。这个例子说明,仅对单个填补后的数据集拟合一次模型,或者仅对各次分析报告的标准误取平均,都无法得到与多重插补相同的推断结果。

一种常规近似方法在完整数据样本量较大时采用学生t分布,其中

r=(1+1/m)BUˉ,ν=(m−1)(1+1r)2.r=\frac{(1+1/m)B}{\bar U}, \qquad \nu=(m-1)\left(1+\frac{1}{r}\right)^2.

因此,近似置信区间为

Qˉ±tν, 1−α/2T.\bar Q\pm t_{\nu,\,1-\alpha/2}\sqrt{T}.

当完整数据的自由度有限时,可采用小样本校正来考虑这一限制,其中包括于1999年提出的 Barnard–Rubin 校正。上述 ν\nu 的简单表达式不应被视为普遍适用于小规模研究或复杂设计。

合并应在抽样分布具有较好规律性的尺度上进行。对于优势比,通常先合并对数优势比,再对估计值和区间端点取指数。对于相关系数,采用适当的变换可能更为有利。合并预测值、分位数、方差分量或区分能力指标时,可能需要更专门的方法。

对于向量值参数,标量方差相应地变为协方差矩阵,其中也包括插补间协方差矩阵。联合检验需要采用相应的多元合并方法;对P值取平均不能替代这些方法。将所有补全后的数据集堆叠起来,并将其作为相互独立的观测进行分析,同样不可取:这会把同一批记录的重复版本当作额外信息,从而错误地反映有效样本量。

协调性、辅助变量与实质模型

插补模型与分析模型之间的关系,通常用协调性来讨论。广义而言,具有协调性的程序允许在适当的共同建模框架内统一插补与分析。这一概念在孟晓犁于 1994 年的研究中得到了重要发展,解释了为什么即使插补在技术上是恰当的,仍可能与特定分析不相协调。标准合并规则所要求的,不仅仅是随机生成的完整数据集:这些数据集所体现的不确定性还必须与分析所估计的目标相匹配。

一种基本的不协调情形是,插补模型遗漏了分析意图估计的关联。如果对存在缺失值的预测变量进行插补时不使用结局变量,该预测变量与结局之间的关联就可能被削弱。同样,在纯加性模型下进行插补,可能会使随后包含统计交互作用的分析产生偏差。例如,如果某种暴露与结局之间的关系因性别而异,而插补模型却强制假定不同性别具有相同的关系,就可能抹去部分目标交互作用。

非线性也会带来类似问题。假设分析同时包含 XX 和 X2X^2。分别对两者进行独立插补,可能产生相互矛盾的数值;而使用不恰当的线性条件模型对 XX 进行插补,再计算 X2X^2,仍可能扭曲二次关联。与实质模型相容的插补方法,在构造插补值时会明确顾及预定分析模型的似然贡献。这些方法可能需要更多计算资源,但它们解决的是仅靠确定性地维持变量间计算关系所无法解决的建模问题。

辅助变量是主要因能够预测缺失值或应答行为而被纳入插补的变量。当较晚一次的结局测量缺失时,较早的测量值可能提供尤为重要的信息。记录联系尝试次数或数据收集方式的管理变量,可能有助于解释无应答。辅助变量的价值不能仅用其与最终结局的关联来衡量:即使某个变量不在实质回归模型中,只要它有助于提高随机缺失(MAR)假设的可信度,就可能具有重要作用。

研究设计信息同样重要。在复杂抽样调查中,分层、整群和抽样权重都可能包含与结局及应答有关的信息。对插补后完整数据的分析,必须保留适当的基于设计的方差计算方法,而插补模型也必须充分体现与设计有关的关联。对于多层数据,忽视群组结构可能会错误刻画组内变异和组间变异。纳入群组标识变量,并不自动等同于拟合了适当的分层插补模型,尤其是在群组较小或整个群组的测量值均缺失时。

这些问题使面向分析的插补有别于通用的数据准备。插补后的数据集并非对所有可能的后续模型都普遍有效。因此,记录纳入的变量、变量变换、交互作用以及设计特征,也是界定这些完整数据集能够合理支持哪些推断的一部分。

计算精度与模型诊断

插补次数控制的是蒙特卡洛精度,而非观测信息量。增加 mm 可以减少因有限次模拟缺失值而产生的变异,但无法消除缺失本身带来的不确定性。在标准近似下,与基于无限次插补的估计相比,基于 mm 次插补的估计的相对效率为

RE⁡≈(1+γm)−1,\operatorname{RE}\approx \left(1+\frac{\gamma}{m}\right)^{-1},

其中,γ\gamma 是特定待估量的缺失信息比例。该比例通常不等于缺失单元格所占的百分比。

例如,若 γ=0.5\gamma=0.5,插补五次时的相对效率约为 1/1.11/1.1,即 0.910.91;插补五十次时则约为 0.990.99。然而,点估计的效率接近极限,并不意味着标准误、尾部概率或区间端点也足够稳定。当各次插补可视为独立抽样时,合并点估计的蒙特卡洛标准误约为 B/m\sqrt{B/m}。保留下来的模拟抽样结果之间若存在相关性,这一标准误可能增大。现代分析使用的插补次数往往远多于早期应用中常见的少数几次,尤其是在缺失信息比例较高时。

计算诊断考察插补算法是否已达到稳定状态。对于迭代方法,均值、方差或选定模型参数的轨迹图可以揭示漂移、混合不充分或链间分离等问题。采用不同的初始值,可以发现结果是否依赖起始值。汇总统计量的稳定是必要条件,但并非充分条件:在不恰当的模型下,链也可能混合良好;而汇总统计量看似稳定时,某个罕见类别的表现仍可能很差。

模型诊断关注的是另一个问题。可以按组别、响应模式和重要预测变量,比较观测值与插补值的分布。边际分布存在差异并不必然说明插补失败,因为随机缺失(MAR)机制可能意味着,存在缺失的个案与已观测个案确实有所不同。更有信息价值的检验会考察条件关系、逻辑约束、残差模式,以及补全后的数据集是否保留了实质性分析所需的数据特征。后验预测检验提供了一种评估框架,用于判断拟合模型能否再现相关的数据特征。

过度插补有意将选定的观测值视为缺失值,并将预测分布与已知值进行比较。这可以揭示条件预测不佳或离散程度被低估等问题。但必须重视其证据效力的局限:在已观测个案上的表现,并不能证明对系统性未观测个案的预测有效。人为留出的数据所对应的缺失机制,往往比实际的缺失机制更简单。

为保证可重复性,需要记录插补方法、预测变量、变量变换、数据集数量、迭代设置、软件版本以及随机数初始化方式。分类回归中的完全预测、协方差估计不稳定或生成不可能取值等数值问题,需要根据具体模型采取补救措施。仅仅增加迭代次数或补全数据集的数量,并不能解决模型设定错误或不可识别的问题。

偏离随机缺失假设

多重插补既可以体现非随机缺失(MNAR)假设,也可以体现随机缺失(MAR)假设。困难不在于模拟在概念上变得不可行,而在于观测数据通常无法识别缺失响应与可比的已观测响应之间有何差异。因此,敏感性分析会设定一系列在研究实质上有意义的偏离情景,并考察其影响。这些偏离是假设,而不是仅靠增加计算量就能自动推算出的量。

两种主要的建模方式是选择模型和模式混合模型。选择模型将联合分布分解为

p(Y,R)=p(Y) p(R∣Y),p(Y,R)=p(Y)\,p(R\mid Y),

并明确描述响应是否被观测到如何依赖于可能未被观测到的数值。模式混合模型则采用

p(Y,R)=p(R) p(Y∣R),p(Y,R)=p(R)\,p(Y\mid R),

分别描述不同响应模式下的数据分布。作为联合分布的表述,这两种分解在数学上等价,但实际建模时施加的限制不同。如果允许不受约束的 MNAR 依赖关系,两者都需要在观测数据分布之外引入额外的识别假设。

一种简单的模式混合敏感性分析从基于 MAR 假设的插补值出发,对缺失的连续型结局施加偏移:

Ymis(δ)=Ymis(MAR)+δ.Y_{\mathrm{mis}}^{(\delta)} = Y_{\mathrm{mis}}^{(\mathrm{MAR})}+\delta.

参数 δ\delta 表示在所建模的尺度上,假定的缺失结局与其 MAR 预测值之间的差异。可以针对不同组别、时间点或缺失原因设定不同的偏移量。对于二元响应,可以在对数几率尺度上作相应调整,而不是在概率上任意加上一个数值。

偏移量的含义取决于结局变量和模型。对数变换后的加性变化,对应于原始尺度上的乘性变化。对所有缺失个案采用恒定偏移量,意味着假定了一种特定的同质性偏离,这可能并不现实。有些分析将敏感性参数视为固定的情景设定;另一些分析则为其指定概率分布。这些选择体现了不同的推断目标,也要求相应地关注如何合并不确定性。

临界点分析用于确定:偏离达到何种程度时,某个指定结论会发生变化,例如区间何时开始包含无效应值。它并不能证明该临界点是合理的,也不能证明临界点某一侧的情景就是正确的。其价值在于明确揭示结论对不可验证假设的依赖。

缺失原因、后续追访子样本、外部数据,以及初次未响应后收集的测量数据,都有助于为敏感性假设提供依据。但它们不会自动消除识别问题。通常,既不能仅凭模型对已观测响应看似良好的拟合,就确认 MAR 假设成立,也不能据此确认某个特定的 MNAR 模型成立。

方法的应用与边界

多重插补广泛用于调查、计量经济学、流行病学、教育研究和纵向研究,因为协变量和结局的缺失会以不同组合出现。在调查中,项目无应答可能涉及收入、就业或家庭特征。在面板研究中,受访者可能缺席个别轮次,也可能永久退出。每种情境都会形成不同的依赖结构,并涉及不同的缺失机制假设,因此,使用相同的插补命令并不意味着背后的分析也相同。

在随机对照试验中,随机分配本身并不能保证结局缺失是可忽略的。即使治疗分配是随机的,结局无应答仍可能取决于随机分配后发生的事件或未观测到的结局。插补模型可能需要纳入各治疗组特有的变量关系、基线预测变量和纵向测量数据。此外,还必须明确目标估计量:停止治疗后缺失的某次测量,并不自然等同于因后续事件而不再有定义的结局。插补假设针对的是具体要估计的结局。

在因果推断中,缺失数据处理与因果识别是两个不同的问题。多重插补不能消除未测量的混杂,不能使暴露组之间产生重叠,也不能为不考虑因果结构而选择变量进行调整的做法提供依据。涉及倾向评分、加权或由此构造的因果估计量时,分析必须确保插补阶段和估计阶段恰当地反映相关不确定性。合并拟合得到的评分、权重及最终效应估计值时,不同做法未必等价。

预测任务还涉及另一层区别。在解释性分析中估计关联时,利用已观测到的结局来插补缺失的预测变量可能是合适的;但在部署预测系统时,未来的结局尚不可得。评估必须模拟这一部署情境。如果在交叉验证之前,使用整个数据集拟合预处理或插补过程,验证样本的信息就可能泄漏到模型开发过程中。因此,预测流程需要采用一种无需获取尚不可得的结局、就能应用于新样本的缺失数据处理方法。

多重插补并不总是最直接的方法。全信息最大似然估计直接分析观测数据的似然,而不显式生成完整数据集。加权方法通过估计应答概率来处理无应答。在某些弱于完全随机缺失(MCAR)的特定假设下,完整案例分析对某些估计目标也可能有效,但它往往会损失信息。各种方法的相对优劣取决于目标估计量、模型、缺失结构和可用软件,而不存在普遍适用的排名。

有些空缺项根本不应作为普通缺失值来插补。例如,因结构性原因而不适用的问题、低于检测限但已知位于某一区间内的测量值,以及在研究所设定的目标估计量下没有定义的结局。多重插补可以纳入处理删失、测量误差及其他观测过程的模型,但首先必须正确表述这些过程。一张填满所有单元格的数据表只是计算产物;其推断意义来自生成它的模型和假设。