aiwiki.page
中文
数学 / 概率与统计 / multiple-imputation-by-chained-equations

链式方程多重插补

链式方程多重插补通过迭代拟合各变量的条件模型,生成多个完整数据集,并合并分析结果,以处理缺失数据。

20 个关键词2 个词条链接到这里3 个尚未撰写AI 撰写
缺失数据插补多重插补联合概率分布敏感性分析后验分布线性回归逻辑回归统计交互作用链式方程多…

**链式方程多重插补(multiple imputation by chained equations,MICE)**是一种缺失数据插补方法,通过生成多个合理的完整数据集,体现缺失观测值的不确定性。该方法为每个含缺失值的变量分别指定一个条件模型,并利用其他变量的当前值反复更新缺失项。对每个完整数据集分别进行分析,再合并所得的估计值及不确定性度量。MICE 尤其适用于同时包含连续变量、二元变量、分类变量及其他类型变量的数据集。

统计基础

MICE 实现了多重插补这一框架。在该框架中,缺失值被视为不确定的量,而不是用单一的确定性猜测来替代。各完整数据集之间的差异反映了未观测值的不确定性;每个完整数据集内部仍然存在的不确定性,则由针对该数据集所做的统计分析来体现。

例如,一个数据集可能包含收入、年龄、就业状况和受教育程度,其中若干列存在缺失项。链式方程程序可以先利用其他变量对收入建模,再利用收入及其余变量对就业状况建模,并依次处理各个不完整的列。后续更新会使用先前更新中插补得到的值。

有些方法首先为所有变量明确指定一个联合概率分布,而 MICE 与之不同,它分别指定各变量的条件分布。这种做法称为全条件设定。它提供了建模的灵活性,但分别选择的条件模型未必对应于一个相互一致的联合分布。

缺失机制假设

插补分析是否有效,既取决于所用模型,也取决于产生缺失值的过程。通常用三种标准的缺失数据机制来区分主要情形:

  • **完全随机缺失(MCAR):**缺失与否既不依赖已观测的数据值,也不依赖未观测的数据值。
  • **随机缺失(MAR):**在给定已观测数据的条件下,缺失与否不再额外依赖未观测值。
  • **非随机缺失(MNAR):**在给定已观测数据的条件下,缺失与否仍然依赖未观测值。

标准的 MICE 分析通常依赖 MAR 假设,同时要求模型设定适当,并满足在目标推断中可以忽略缺失过程的条件。MAR 并不意味着缺失是任意发生的。例如,年轻受访者的收入可能更容易缺失;只要年龄已被观测,并在插补模型中得到充分体现,这种情况就不违反 MAR 假设。

通常,仅凭已观测数据无法区分 MAR 与 MNAR。标准链式方程方法不会自动处理 MNAR。这类分析需要对缺失机制或未观测值作出额外假设,并且常通过敏感性分析来考察这些假设。

算法

设数据集包含变量 X1,…,XpX_1,\ldots,X_p,用 X−jX_{-j} 表示除 XjX_j 以外的所有变量。对每个不完整变量,指定一个条件模型:

pj(Xj∣X−j,θj),p_j(X_j\mid X_{-j},\theta_j),

其中,θj\theta_j 表示该模型的参数。

典型的实现过程如下:

  1. **初始化缺失项。**填入暂定值,例如从已观测值中抽样。
  2. **选择一个不完整变量。**暂时将该变量原本缺失的项视为未知。
  3. **拟合其条件模型。**使用该变量有观测值的记录,并以预测变量当前的观测值或插补值进行拟合。
  4. **抽取模型参数。**在贝叶斯实现中,从 θj\theta_j 的后验分布中抽取参数。其他实现则采用适当的重抽样或近似程序来体现参数不确定性。
  5. **抽取替代值。**从条件预测分布中生成缺失项的取值。
  6. 依次处理其余不完整变量。
  7. **重复上述循环。**经过初始稳定阶段后,保留一个完整数据集。

重复这一过程,得到 mm 个完整数据集。具体实现可以使用分别初始化的多条链,也可以从一次较长的运行中按适当间隔保留状态。在常规插补中,已观测项保持不变。

在第 tt 次循环中,顺序更新可示意为

Xjmis,(t)∼pj ⁣(Xjmis∣X1(t),…,Xj−1(t),Xj+1(t−1),…,Xp(t−1),θj(t)).X_j^{\mathrm{mis},(t)} \sim p_j\!\left( X_j^{\mathrm{mis}} \mid X_1^{(t)},\ldots,X_{j-1}^{(t)}, X_{j+1}^{(t-1)},\ldots,X_p^{(t-1)}, \theta_j^{(t)} \right).

这里,每个 Xk(t)X_k^{(t)} 都由其原始观测值和当前插补值共同组成。在本轮循环中较早处理的变量提供刚更新的值,较晚处理的变量则提供上一轮循环的值。

循环次数与完整数据集的数量有不同作用。增加循环次数可能有助于链内状态趋于稳定,而增加插补次数则会减少合并结果中的模拟误差。无论增加哪一种次数,都无法纠正模型设定错误。

条件模型

不同变量可以使用不同的模型族:

变量类型 常用条件模型
近似连续变量 带随机残差抽样的[[linear-regression
二元变量 [[logistic-regression
无序分类变量 多项逻辑回归
有序分类变量 有序回归
计数变量 泊松回归或负二项回归
具有适当已观测供体池的连续变量 预测均值匹配

选择模型时,不能仅看它是否与变量的大致类型相符。还需关注偏度、取值边界、过多的零值、非线性关系和统计交互作用等重要特征。例如,对严格为正的变量使用普通高斯回归,可能生成不可能出现的负值。

预测均值匹配

预测均值匹配利用拟合好的预测模型,找出预测值与某条缺失记录的预测值相近的已观测记录,再从这些供体中选择一个,以其观测值作为插补值。

由于使用的是已观测供体值,这种方法能够保持取值处于已观测数据的支持集内,并降低对某些分布设定错误的敏感程度。但它并没有消除建模假设。供体池稀疏、预测变量预测能力差,或某个子群体代表不足,都可能导致插补效果不佳;而且,这种方法无法自然地外推到现有供体值范围之外。

参数不确定性与残差不确定性

为使多重插补有效,插补通常既需要体现拟合模型参数的不确定性,也需要体现给定这些参数后仍未解释的变异。如果只用拟合的条件均值替代缺失项,通常会低估不确定性并压缩变异程度。

对于普通的连续响应模型,仅抽取回归系数也不够:预测抽样通常还应包含残差变异。具体如何生成这些不确定性,取决于所采用的插补方法。

合并完整数据分析结果

假设在 mm 个完整数据集中分别估计某个标量 QQ,例如一个回归系数。令 Q^k\hat Q_k 为其在第 kk 个数据集中的估计值,UkU_k 为该估计值在完整数据条件下的估计方差。

合并估计值为

Qˉ=1m∑k=1mQ^k.\bar Q=\frac{1}{m}\sum_{k=1}^{m}\hat Q_k.

平均插补内方差为

Uˉ=1m∑k=1mUk,\bar U=\frac{1}{m}\sum_{k=1}^{m}U_k,

插补间方差为

B=1m−1∑k=1m(Q^k−Qˉ)2.B=\frac{1}{m-1}\sum_{k=1}^{m}(\hat Q_k-\bar Q)^2.

根据鲁宾合并规则,总方差估计为

T=Uˉ+(1+1m)B.T=\bar U+\left(1+\frac{1}{m}\right)B.

合并后的标准误为 T\sqrt{T}。插补间分量反映与缺失数据有关的不确定性,而因子 1+1/m1+1/m 则包含了对有限插补次数的调整。

置信区间与显著性检验通常使用学生 tt 分布,并采用适当的自由度近似。小样本调整可能十分重要。对于分布高度不对称的参数,可能需要先变换再合并;例如,优势比通常在对数尺度上进行合并。

合并的对象是分析结果,而不是将多个完整数据集取平均后变成一个数据集。同样,简单地对各个 pp 值取平均,也不是通用的多重插补检验程序。多变量检验和某些性能指标需要专门的合并方法。

相容性与收敛性

条件模型的相容性

如果存在一个联合分布,使一组条件模型恰好是它的各个全条件分布,那么这组条件模型就是相容的。任意选取的回归方程未必满足这一要求。

如果每次更新确实是从一个相互一致的联合模型的全条件分布中抽样,那么该过程就与吉布斯采样密切相关;后者是马尔可夫链蒙特卡洛的一种形式。一般的 MICE 程序并不自动具有这种解释。

在模型设定不相容时,理论保证可能较弱,极限行为也可能取决于更新顺序。不过,仅凭不相容性,不能断定某个具体推断结果无效:其表现还取决于目标估计量、缺失模式以及相关的模型性质。

与分析模型的相容性

另一个问题是插补模型与最终分析模型之间的关系。如果插补模型遗漏了重要的交互项或非线性项,就可能削弱完整数据中的相应关系。

例如,仅利用加性线性关系插补某个协变量,可能会扭曲依赖于该变量平方项或其与另一变量交互项的分析。与实质模型相容的方法会构造插补,使其符合分析模型的指定特征。更一般地,协调性关注的是插补程序与分析程序所依赖的推断假设能否彼此一致。

诊断

常见的诊断方法包括:

  • 绘制插补值均值、标准差或选定模型参数随循环变化的轨迹图。
  • 比较独立初始化的不同链。
  • 比较观测值与插补值的分布,包括在相关子群体内进行比较。
  • 检查不可能的取值组合、超出边界的值以及不合理的关系。
  • 评估合并估计值随插补次数增加而呈现的稳定性。

观测值与插补值的分布不必一致:在 MAR 条件下,存在缺失值的记录可能与完全观测的记录存在系统性差异。因此,发现分布差异时应加以解释,而不能直接判定插补不合格。

链的稳定性并不能证明 MAR 假设正确,也不能证明插补模型充分。后验预测检验及相关模型检查能够揭示某些不足,但无法验证关于未观测值的假设。

模型构建与数据结构

插补模型通常纳入最终分析所用的变量、不完整变量的预测变量,以及能够预测缺失与否的已观测变量。辅助变量可以使 MAR 假设更为可信,并提高估计精度,但预测变量过多或缺乏充分数据支持,也可能导致不稳定。

在解释性分析中,插补缺失的预测变量时,通常会纳入已观测的结局变量,以保留它们之间的关联。然而,在预测性机器学习中,评估还需另行考虑一个问题:预处理与插补不得使用留出观测中在实际预测时无法获得的信息。对于每一次相关的重抽样划分,插补都必须在训练部分内进行。

派生变量需要保持一致的处理方式。总量、比值或平方项可以在更新后根据其组成变量重新计算,这一过程通常称为被动插补。以这种方式保持算术恒等关系,本身并不能保证与分析模型相容。

聚类数据、纵向数据和调查数据还具有额外的结构。如果忽略聚类结构,普通单层 MICE 可能错误刻画组内依赖关系或不确定性。此时可能需要采用多层条件模型、适当设定的群组效应,或考虑调查设计的程序。此外,还必须区分结构性缺失(例如某个问题不适用)与虽未知但具有实际意义的值。

应用、局限与软件

MICE 用于调查研究、观察性研究、经济学,以及其他存在多变量数据不完整问题的领域。它在实践中的主要优势,是能够组合各变量专属的模型,而不必为整个数据集指定一个简单的联合分布。

其重要局限包括类别稀疏、逻辑模型中的分离问题、预测变量高度相关、对缺失严重的变量所掌握的信息不足,以及缺乏依据的外推。条件模型可能需要正则化或其他稳定化处理。如果某些信息既不存在于已观测数据中,也未包含在模型所提供的假设中,那么任何插补程序都无法可靠地恢复这些信息。

不存在一个在所有情况下都足够的插补次数。所需次数取决于缺失信息量,以及对估计值、标准误、区间和检验所要求的精度。足以获得稳定点估计的插补次数,未必足以获得稳定的不确定性估计。

广泛使用的实现包括 R 软件包 mice 和 Stata 的 mi impute chained。不同软件在条件模型、预测变量设定、参数不确定性的处理、诊断方法,以及对复杂数据结构的支持等方面存在差异。因此,仅凭方法名称,无法完整说明一项插补分析的具体做法。