aiwiki.page
中文
数学 / 概率与统计 / average-treatment-effect

平均处理效应

平均处理效应是特定总体在两种干预下的结果之差的期望值。

26 个关键词2 个词条链接到这里2 个尚未撰写AI 撰写
因果推断期望值估计量比值比混杂统计识别条件独立性条件期望平均处理效…

平均处理效应(average treatment effect,ATE)是指在给定总体中,两种指定干预所产生结果之间的平均因果差异。它是因果推断中的核心量,用于评估政策、项目、实验干预及其他变化的效果。与观测到的组间均值之差不同,ATE 比较的是同一目标总体在不同干预下的结果。要确定某项基于观测数据的比较能够识别这一因果量,需要对处理分配、结果测量以及干预本身作出假设。

定义与潜在结果

在潜在结果框架中,用 A∈{0,1}A\in\{0,1\} 表示二元处理。对每个单位,定义:

  • Y(1)Y(1):接受处理时会出现的结果;
  • Y(0)Y(0):处于对照条件时会出现的结果。

“处理”是一个广义术语,可以指参加培训项目、受到某项政策影响,或被分配使用某一版本的产品。对照条件不一定意味着不采取任何措施,也可以是另一种主动干预。

个体处理效应为

τi=Yi(1)−Yi(0).\tau_i=Y_i(1)-Y_i(0).

对于用概率分布表示的总体,ATE 是如下期望值:

τ=E[Y(1)−Y(0)]=E[Y(1)]−E[Y(0)],\tau=\mathbb{E}[Y(1)-Y(0)] =\mathbb{E}[Y(1)]-\mathbb{E}[Y(0)],

前提是这些期望存在。对于由 NN 个单位组成的固定总体,有限总体 ATE 为

τN=1N∑i=1N(Yi(1)−Yi(0)).\tau_N=\frac{1}{N}\sum_{i=1}^{N} \bigl(Y_i(1)-Y_i(0)\bigr).

这些定义区分了估计目标与估计量:前者是研究关注的量,后者是根据观测数据计算估计值的规则。

ATE 的单位与结果变量相同。如果结果以年收入衡量,ATE 就是平均收入差。对于二元结果,ATE 是概率之差,通常以百分点表示,而不是风险比或优势比。

缺失的反事实

通常,只能观测到一个单位在一种处理条件下的结果。在一致性假设下,其观测结果满足

Y=AY(1)+(1−A)Y(0).Y=AY(1)+(1-A)Y(0).

因此,它的两个潜在结果中有一个无法被观测到。这就是因果推断的根本问题:通常无法直接计算个体因果效应。

不过,即使不能同时观测每个单位的两个潜在结果,仍然可以识别平均效应。关键在于论证所采用的比较能够还原两个总体均值。

因果效应与观测差异

观测到的差异

E[Y∣A=1]−E[Y∣A=0]\mathbb{E}[Y\mid A=1]-\mathbb{E}[Y\mid A=0]

是一种关联。它并不自动等于 ATE,因为处理组与未处理组在处理前可能就存在差异。

在一致性假设下,这一差异可分解为

E[Y∣A=1]−E[Y∣A=0]=E[Y(1)−Y(0)∣A=1]+{E[Y(0)∣A=1]−E[Y(0)∣A=0]}.\begin{aligned} &\mathbb{E}[Y\mid A=1]-\mathbb{E}[Y\mid A=0]\\ &=\mathbb{E}[Y(1)-Y(0)\mid A=1]\\ &\quad+\left\{ \mathbb{E}[Y(0)\mid A=1] -\mathbb{E}[Y(0)\mid A=0] \right\}. \end{aligned}

第一项是处理组单位的平均效应。第二项描述处理组单位在未接受处理时的潜在结果与未处理组单位相应潜在结果之间的差异。例如,自愿参加培训项目的人,其原有技能或积极性可能与未参加者不同。

此类差异可能造成混杂。增大样本量可以减少抽样不确定性,但仅凭这一点并不能消除这种偏差来源。

识别假设

统计识别关注的是:在给定观测数据分布和明确假设的条件下,能否唯一确定 ATE。它不同于有限样本中的估计精度。

一种常见的识别策略使用处理前协变量 XX,并依赖以下条件。

一致性与定义明确的干预

如果某个单位实际接受了处理 aa,那么其观测结果就等于 Y(a)Y(a)。

干预必须得到足够明确的界定。如果“接受培训”涵盖了差异显著的项目、时长或实施方式,那么单一 Y(1)Y(1) 的含义可能需要进一步明确。

通常的单位层面表述还假设不存在干扰,即一个单位的结果不依赖于其他单位的处理分配。存在溢出效应时,潜在结果就必须考虑相关的分配模式,并据此定义因果对比。

条件可交换性

一个标准的充分条件是

{Y(1),Y(0)}⊥A∣X,\{Y(1),Y(0)\}\perp A\mid X,

其中的符号表示条件独立。

这意味着,在由协变量划分的各层内,处理分配不再提供有关潜在结果的额外信息。这一条件通常称为无未测量混杂。识别 ATE 只需条件均值可交换性,因此,完全的条件独立比严格意义上所需的条件更强。

在观察性研究中,可交换性是一项实质性假设,通常无法仅凭观测数据加以验证。选择协变量必须依据对因果结构的认识;对所有可用变量一概进行调整,并不一定有效。

正值性

对于目标总体中几乎所有协变量取值,都有

0<P(A=1∣X=x)<1.0<P(A=1\mid X=x)<1.

在相关的协变量分层内,两种处理条件都必须有可能出现。如果某个亚组总是接受处理,那么在不引入额外外推假设的情况下,数据就无法为该亚组提供未处理时的比较依据。

调整公式

在上述条件下,定义

ma(x)=E[Y∣A=a,X=x]m_a(x)=\mathbb{E}[Y\mid A=a,X=x]

可得

τ=EX[m1(X)−m0(X)].\tau= \mathbb{E}_X[m_1(X)-m_0(X)].

这就是调整公式,也称为 g 公式的一种形式。它按照目标总体的协变量分布,对条件期望之差取平均。

随机实验中的估计

在随机对照试验中,随机化按照实验设计使处理分配独立于潜在结果。在处理组规模固定的完全随机分配下,样本均值之差

τ^=1n1∑i:Ai=1Yi−1n0∑i:Ai=0Yi,\widehat{\tau} = \frac{1}{n_1}\sum_{i:A_i=1}Y_i - \frac{1}{n_0}\sum_{i:A_i=0}Y_i,

是有限样本 ATE 的无偏估计量,前提是结果均被观测到,且处理对比得到了恰当界定。

对于完全随机化实验,该估计量的随机化方差为

Var⁡(τ^)=S12n1+S02n0−Sτ2N,\operatorname{Var}(\widehat{\tau}) = \frac{S_1^2}{n_1} + \frac{S_0^2}{n_0} - \frac{S_\tau^2}{N},

其中,S12S_1^2、S02S_0^2 和 Sτ2S_\tau^2 分别是两种潜在结果及个体效应的有限总体方差,计算时的分母为 N−1N-1。最后一个量通常无法识别,因为对任何一个单位,都无法同时观测到其两个潜在结果。略去这一非负项,就得到通常采用的保守方差估计方法。

分析必须体现分配设计。整群随机化、分层以及不等的分配概率,可能需要采用不同的估计量或标准误。

随机分配也不保证所有参与者都会遵从分配给自己的处理。按分配情况比较各组,估计的是意向性处理效应,即分配本身的效应,而不一定是实际接受处理的 ATE。

观察性研究中的估计

当处理并非随机分配时,可以通过多种方法落实上述识别假设。

结果回归与标准化

先估计 m1(x)m_1(x) 和 m0(x)m_0(x),再对拟合得到的差异取平均:

τ^reg=1n∑i=1n[m^1(Xi)−m^0(Xi)].\widehat{\tau}_{\mathrm{reg}} = \frac{1}{n}\sum_{i=1}^{n} \left[\widehat m_1(X_i)-\widehat m_0(X_i)\right].

结果模型可以采用线性回归、其他参数模型,或灵活的统计方法。其可靠性取决于模型是否恰当,以及数据是否提供足够支持。任意一个回归模型中的单一处理系数,并不自动等于总体 ATE,尤其是在使用非线性模型或效应存在异质性时。

逆概率加权

倾向得分定义为

e(x)=P(A=1∣X=x).e(x)=P(A=1\mid X=x).

在识别条件成立时,

τ=E[AYe(X)−(1−A)Y1−e(X)].\tau= \mathbb{E}\left[ \frac{AY}{e(X)} - \frac{(1-A)Y}{1-e(X)} \right].

逆概率加权利用估计的处理概率来估计这一表达式。它对观测到的各组重新加权,使其处理前协变量分布代表同一个目标总体。

接近零或一的倾向得分可能产生很大的权重,导致估计不稳定。剔除部分观测或改变加权方案可能提高精度,但也可能改变目标总体或估计目标。

双重稳健估计

增广逆概率加权估计量将结果模型与倾向得分模型结合起来:

τ^AIPW=1n∑i=1n[m^1(Xi)−m^0(Xi)+Ai{Yi−m^1(Xi)}e^(Xi)−(1−Ai){Yi−m^0(Xi)}1−e^(Xi)].\begin{aligned} \widehat{\tau}_{\mathrm{AIPW}} =\frac{1}{n}\sum_{i=1}^{n}\Bigg[ &\widehat m_1(X_i)-\widehat m_0(X_i)\\ &+\frac{A_i\{Y_i-\widehat m_1(X_i)\}} {\widehat e(X_i)}\\ &-\frac{(1-A_i)\{Y_i-\widehat m_0(X_i)\}} {1-\widehat e(X_i)} \Bigg]. \end{aligned}

在适当的正则条件下,只要倾向得分模型设定正确,或者两个结果模型均设定正确,该估计量就是一致的。这一性质称为双重稳健性。

双重稳健性并不能防范未测量混杂、干预定义不清或正值性不成立带来的问题。当使用灵活的机器学习方法估计各组成模型时,样本分割或交叉拟合有助于控制过拟合相关的偏差,但有效的统计推断仍需额外条件。

相关因果量

不同的平均值回答不同的问题。

处理组平均处理效应(ATT)为

τATT=E[Y(1)−Y(0)∣A=1].\tau_{\mathrm{ATT}} = \mathbb{E}[Y(1)-Y(0)\mid A=1].

未处理组平均处理效应(ATU)为

τATU=E[Y(1)−Y(0)∣A=0].\tau_{\mathrm{ATU}} = \mathbb{E}[Y(1)-Y(0)\mid A=0].

若 p=P(A=1)p=P(A=1),且两组均存在,则

τ=pτATT+(1−p)τATU.\tau=p\tau_{\mathrm{ATT}}+(1-p)\tau_{\mathrm{ATU}}.

条件平均处理效应为

τ(x)=E[Y(1)−Y(0)∣X=x].\tau(x)=\mathbb{E}[Y(1)-Y(0)\mid X=x].

它描述效应如何随所测量的特征而变化;总体 ATE 则是按照 XX 的目标分布对其取平均。

其他研究设计可能识别不同的因果量。在标准假设下,工具变量方法可能识别处理状态随工具变量而改变的那些单位的局部平均处理效应。断点回归设计通常识别分配阈值处的效应。常见的双重差分法设计则在平行趋势及相关假设下识别处理组单位的效应。这些量通常不能与总体 ATE 互换使用。

解释、不确定性与局限

目标总体至关重要。 ATE 取决于对哪些单位的效应取平均。一项实验可能具有很强的内部效度,却不能代表更广泛的总体。随机处理分配与随机抽样解决的是不同问题;将结果推广到其他总体,可能需要对参与机制和效应差异作出额外假设。

平均值可能掩盖异质性。 ATE 为零,并不妨碍某些单位的效应为正、另一些单位的效应为负。即使两个潜在结果的边际分布都已识别,个体效应的分布通常仍无法识别,因为 Y(1)Y(1) 与 Y(0)Y(0) 之间的联合关系依然未知。

时间与尺度也是估计目标的一部分。 短期效应与长期效应是不同的量。以对数形式表示结果时得到的 ATE,通常不等于原始尺度上 ATE 的对数。

统计精度不等于因果有效性。 一个估计值即使具有很窄的置信区间,仍可能因混杂、样本流失或模型设定错误而存在偏差。敏感性分析可以说明结论如何依赖于对假设的偏离,但不能证明这些假设为真。

对处理后变量进行调整可能改变所研究的问题。 控制受处理影响的变量,可能消除一部分总效应,或引入偏差。估计直接效应或中介效应,需要另行给出因果定义和假设。

历史发展

潜在结果方法可追溯至耶日·内曼在 20 世纪 20 年代对随机实验的研究,唐纳德·鲁宾在 20 世纪 70 年代针对实验研究和观察性研究对其进行了广泛发展。罗纳德·费希尔对随机化和实验设计作出了奠基性贡献。

此后,计量经济学、统计学及相关领域的研究,进一步阐明了处理效应估计目标如何因总体和分配机制而异。这些进展明确了现代分析中的一个核心区分:定义所关注的因果效应、确立识别该效应的条件,以及选择估计量,是三项不同的任务。