aiwiki.page
中文
数学 / 概率与统计 / double-machine-learning

双重机器学习

双重机器学习结合灵活的预测方法、正交估计方程与交叉拟合,在控制干扰函数估计偏差的同时估计目标参数。

29 个关键词1 个词条链接到这里5 个尚未撰写AI 撰写
统计学计量经济学机器学习因果推断估计量的偏差正则化交叉验证条件期望双重机器学…

双重机器学习(DML)是统计学和计量经济学中的一种框架,用于在借助机器学习估计复杂辅助关系的同时,估计低维参数。它的两个核心要素是奈曼正交估计方程和交叉拟合:前者降低目标估计对辅助估计误差的敏感性,后者将辅助模型的训练与评估分离。在适当假设下,即使辅助关系的学习速度低于传统参数估计的收敛速率,两者的结合仍可使估计量近似服从正态分布,并提供有效的不确定性量化。DML 广泛用于因果推断,也适用于非因果统计参数。

动机与适用范围

许多估计问题既涉及目标参数,例如处理效应或回归系数,也涉及估计所必需、但本身并非主要研究对象的未知函数。这些辅助对象称为干扰函数,例如结果变量的条件均值、处理分配概率,以及工具变量的条件期望。

灵活的预测方法无需设定简短、固定的参数公式,就能估计这些函数。然而,直接将其预测值代入传统估计方程,可能产生显著的估计量的偏差。其中有两个问题尤为重要:

  • **正则化偏差:**采用正则化、变量选择或其他复杂度控制手段的方法,会有意牺牲部分拟合精度,以换取预测的稳定性。由此产生的干扰函数估计误差,可能以一阶形式传递到目标估计中。
  • **过拟合依赖:**如果某个观测值既参与干扰模型的训练,又用该模型进行评估,那么它的拟合值可能与其自身的噪声存在统计依赖。

因此,仅有良好的预测表现,并不能保证对目标参数的推断有效。DML 通过估计方程的设计和数据的组织方式来应对这些问题,而不依赖某一种特定的预测算法。

“双重”并不意味着必须恰好使用两个机器学习模型。它指的是该框架将正交化与样本分割或交叉拟合相结合;具体应用可能需要多个干扰函数。

一般形式

设 W1,…,WnW_1,\ldots,W_n 为观测值,首先假定它们独立同分布。设 θ0\theta_0 为目标参数,η0\eta_0 为干扰函数的集合。假设目标参数由一个总体矩方程刻画:

E ⁣[ψ(W;θ0,η0)]=0.\mathbb{E}\!\left[\psi(W;\theta_0,\eta_0)\right]=0.

这里的 ψ\psi 是估计函数,在 DML 文献中通常称为得分函数。它不一定是对数似然函数的导数。

直接代入法先估计 η0\eta_0,再将估计值代入该方程,并求解相应的样本方程。相比之下,DML 使用具有特定不敏感性的得分函数,并利用折外干扰函数预测值计算该函数。

奈曼正交性

如果得分函数的总体期望对干扰函数的所有允许扰动的一阶导数均为零,就称该得分函数在真值处具有奈曼正交性:

ddrE ⁣[ψ(W;θ0,η0+rh)]∣r=0=0\left. \frac{d}{dr} \mathbb{E}\!\left[ \psi(W;\theta_0,\eta_0+rh) \right] \right|_{r=0} =0

该条件须对每一个允许的方向 hh 成立。

这一性质描述的是估计方程的期望在局部对扰动不敏感,而不是观测数据向量在通常几何意义上的垂直。如果干扰函数的估计值接近真值,正交性通常会使其对目标估计偏差的主要贡献从一阶降为二阶。

正交性并不意味着任意干扰函数估计都可接受。这些估计的误差仍须足够小,而且还必须满足其他正则条件。

交叉拟合

将观测值划分为 KK 个互不相交的折 I1,…,IKI_1,\ldots,I_K。对每一折 kk:

  1. 使用 IkI_k 以外的观测值估计干扰函数,得到 η^−k\widehat{\eta}_{-k}。
  2. 使用这些拟合函数,计算 IkI_k 内观测值的得分。

合并式 DML 估计量通过求解下式得到:

1n∑k=1K∑i∈Ikψ(Wi;θ^,η^−k)=0.\frac{1}{n} \sum_{k=1}^{K} \sum_{i\in I_k} \psi(W_i;\widehat{\theta},\widehat{\eta}_{-k}) =0.

每个观测值都参与目标参数的估计阶段,但用于该观测值的干扰函数预测值,是在未将其用于训练的情况下生成的。

交叉拟合与交叉验证相似,但目的不同。交叉验证通常用于评估预测表现或选择调节参数;交叉拟合则为估计方程构造样本外预测值。预测模型的调参可以在各个训练样本内部进行,而不使用留出的观测值。

示例:部分线性回归模型

一个标准例子是

Y=θ0D+g0(X)+U,E[U∣D,X]=0,Y=\theta_0 D+g_0(X)+U, \qquad \mathbb{E}[U\mid D,X]=0,

其中,YY 是结果变量,DD 是处理变量或解释变量,XX 是控制变量向量。未知函数 g0g_0 可以是非线性且高维的,而 θ0\theta_0 是标量。

定义以下条件期望:

m0(X)=E[D∣X],ℓ0(X)=E[Y∣X].m_0(X)=\mathbb{E}[D\mid X], \qquad \ell_0(X)=\mathbb{E}[Y\mid X].

根据该模型,

Y−ℓ0(X)=θ0(D−m0(X))+U.Y-\ell_0(X) = \theta_0\bigl(D-m_0(X)\bigr)+U.

一个正交得分函数为

ψ(W;θ,ℓ,m)=(D−m(X))[Y−ℓ(X)−θ(D−m(X))].\psi(W;\theta,\ell,m) = \bigl(D-m(X)\bigr) \left[ Y-\ell(X)-\theta\bigl(D-m(X)\bigr) \right].

通过交叉拟合估计 ℓ0\ell_0 和 m0m_0 后,定义

Y~i=Yi−ℓ^−k(i)(Xi),D~i=Di−m^−k(i)(Xi),\widetilde{Y}_i = Y_i-\widehat{\ell}_{-k(i)}(X_i), \qquad \widetilde{D}_i = D_i-\widehat{m}_{-k(i)}(X_i),

其中,k(i)k(i) 表示观测值 ii 所在的折。合并式估计量为

θ^=∑iD~iY~i∑iD~i2.\widehat{\theta} = \frac{\sum_i \widetilde{D}_i\widetilde{Y}_i} {\sum_i \widetilde{D}_i^2}.

这相当于将残差化后的结果变量对残差化后的处理变量进行过原点回归。它将线性回归中剔除其他变量影响的思路,推广到了灵活估计条件均值的情形。

分母中必须保留足够的处理变量残差变异。如果 DD 几乎完全由 XX 决定,估计就会变得不稳定。

要赋予结果因果解释,仅有上述计算构造还不够。控制变量与模型必须能够支持相关的因果假设。在处理效应存在异质性时,部分线性系数不一定等于总体平均处理效应;在适当条件下,它表示的是条件处理效应按处理变量条件方差加权的平均值。

示例:平均处理效应

对于二元处理 D∈{0,1}D\in\{0,1\},令 Y(1)Y(1) 和 Y(0)Y(0) 表示潜在结果。平均处理效应为

θ0=E[Y(1)−Y(0)].\theta_0=\mathbb{E}[Y(1)-Y(0)].

标准的识别论证依赖以下假设:

  • **一致性:**观测结果等于实际接受的处理所对应的潜在结果。
  • **条件可交换性:**给定 XX 后,(Y(1),Y(0))(Y(1),Y(0)) 与 DD 独立。
  • **重叠性:**处理概率与零和一之间均保持一定距离。

条件可交换性排除了给定 XX 后仍存在未测量混杂的情形。DML 本身不能依据观测数据确立这一假设。

将结果回归函数和倾向得分定义为

μd(X)=E[Y∣D=d,X],e(X)=Pr⁡(D=1∣X).\mu_d(X)=\mathbb{E}[Y\mid D=d,X], \qquad e(X)=\Pr(D=1\mid X).

一个正交得分函数为

ψ(W;θ,η)=μ1(X)−μ0(X)+D{Y−μ1(X)}e(X)−(1−D){Y−μ0(X)}1−e(X)−θ.\begin{aligned} \psi(W;\theta,\eta) ={}& \mu_1(X)-\mu_0(X)\\ &+\frac{D\{Y-\mu_1(X)\}}{e(X)} -\frac{(1-D)\{Y-\mu_0(X)\}}{1-e(X)} -\theta. \end{aligned}

该估计量使用交叉拟合得到的干扰函数预测值,对 −θ-\theta 之前的表达式取平均。它将结果回归与逆概率加权结合起来。

这一得分函数还具有双重稳健性:在总体层面,只要满足适当的可积性与正值性条件,倾向得分函数正确,或者两个结果回归函数均正确,就能识别平均处理效应。

双重稳健性与正交性相互关联,但并不相同。双重稳健性关注在不同干扰模型设定下能否得到正确结果;正交性关注对干扰函数扰动的局部敏感性。并非每一个正交得分函数都具有全局双重稳健性,而且当某个干扰模型设定错误时,仅靠双重稳健性也不能保证常规推断有效。

收敛速率与统计推断

即使各个干扰函数估计量的收敛速度慢于 n−1/2n^{-1/2},DML 仍可能支持对目标参数进行根号 nn 速率的推断。

对于平均处理效应的得分函数,一个有代表性的余项条件是

∥e^−e0∥L2(∥μ^1−μ1,0∥L2+∥μ^0−μ0,0∥L2)=op(n−1/2),\|\widehat e-e_0\|_{L_2} \left( \|\widehat\mu_1-\mu_{1,0}\|_{L_2} + \|\widehat\mu_0-\mu_{0,0}\|_{L_2} \right) = o_p(n^{-1/2}),

同时还须满足干扰函数估计的一致性、重叠性以及适当的矩条件。这里的 L2L_2 范数衡量的是协变量分布下的均方根误差。

一个常见的充分条件是,上述两个干扰误差因子均为 op(n−1/4)o_p(n^{-1/4})。但这并非普遍要求:如果一个干扰函数估计量收敛得足够快,另一个就可以收敛得较慢。确切要求取决于得分函数。例如,部分线性模型的某些得分函数形式还会引入干扰函数误差的平方项。

在相关条件下,估计量具有如下渐近线性表示:

n(θ^−θ0)=1n∑i=1nϕ(Wi)+op(1),\sqrt n(\widehat\theta-\theta_0) = \frac{1}{\sqrt n}\sum_{i=1}^{n}\phi(W_i)+o_p(1),

其中,ϕ\phi 是该估计量的影响函数。对于标量目标参数,

ϕ(W)=−J0−1ψ(W;θ0,η0),\phi(W) = -J_0^{-1}\psi(W;\theta_0,\eta_0),

其中

J0=∂∂θE[ψ(W;θ,η0)]∣θ=θ0.J_0 = \left. \frac{\partial}{\partial\theta} \mathbb{E}[\psi(W;\theta,\eta_0)] \right|_{\theta=\theta_0}.

随后可由中心极限定理得到渐近正态分布。利用估计的影响函数方差可计算标准误,进而构造置信区间并进行统计假设检验。

仅有正交性并不能保证统计效率。要达到半参数效率界,还需要使用适当的有效得分函数,并满足支持其使用的假设。

预测方法的选择与实施

DML 基本不限定干扰函数的学习算法。可选方法包括套索回归、岭回归、随机森林、提升方法和人工神经网络,也可以组合多种预测方法。

这种灵活性是有条件的,而非不受限制:对于具体目标问题,学习算法必须以足够高的精度估计相关干扰函数。某项任务上的预测误差较低,并不意味着推断所需的所有收敛速率、矩条件或重叠性条件均已满足。

实施中的重要细节包括:

  • **训练样本隔离:**需要从数据中学习的预处理步骤、特征选择和调参都必须遵守折的划分。若在全样本预处理中使用结果变量信息,可能破坏原本希望实现的分离。
  • **折间汇总:**合并各折求解得分方程,以及对各折分别得到的估计值取平均,是两种相关的 DML 构造,但它们在有限样本中不一定产生相同结果。
  • **重复分割:**重复交叉拟合可用于评估结果对随机划分的敏感性。规范的汇总程序也可以将不同划分之间的变异纳入考虑。
  • **方差估计:**不确定性的计算必须与得分函数、估计量和抽样设计相匹配,而不能直接套用简单的回归公式。

应用与扩展

当需要调整大量已观测协变量时,DML 可用于估计处理效应和与政策相关的参数。应用包括对各类项目、劳动力市场干预及其他经济关系的观测研究。

该框架的适用范围也不限于无混杂的处理分配。可以针对工具变量、已接受处理人群的处理效应、某些双重差分法参数以及缺失数据问题构造正交得分函数。

DML 本身并不是用于估计整个异质性处理效应函数的方法。其标准理论针对的是维度固定的目标。估计个体化效应,或估计数量不断增加的一组子群体效应,需要额外的方法与假设。

局限性

识别与估计仍是两个独立问题

DML 处理的是干扰函数估计引起的误差,无法补救统计识别的失败。即使预测表现极佳,遗漏混杂变量、工具变量无效、条件变量选择不当或因果结构设定错误,仍可能使解释失效。

重叠性不足与识别变异不足

极端的倾向得分会产生很大的逆概率权重,导致估计不稳定。将估计概率限制在某一区间内,或许可以改善数值表现,但会引入额外的近似问题;剔除部分观测值则可能改变目标总体。在部分线性模型和工具变量模型中,残差变异不足或弱工具变量也会造成类似困难。

有限样本表现

DML 的主要理论保证是渐近的。样本量小、处理罕见、结果变量呈重尾分布,以及干扰函数估计质量差,都可能导致估计有偏或置信区间不准确。交叉拟合会减少每个模型可用的训练样本,而且本身并不能保证预测质量。

观测值之间的依赖

对于聚类、纵向、空间或时间序列数据,普通的随机分折方法和基于观测值独立假设的方差公式并不自动适用。考虑依赖结构的样本分割与方差估计,需要单独论证其有效性。

模型设定错误

局部稳健性并不意味着可以抵御一切模型设定错误。如果干扰函数估计收敛到不合适的极限,目标估计仍可能有偏。在某个特定模型中具有双重稳健的一致性,并不意味着标准的 DML 渐近分布会自动保持不变。

历史发展与相关方法

DML 汇集了正交估计方程、半参数统计学、影响函数理论、样本分割和残差化等领域的既有思想。关于部分线性模型的早期研究已经表明,可以在对其他关系保留非参数形式的同时,估计有限维参数。

维克托·切尔诺茹科夫及其合作者在 2018 年的论文《处理参数与结构参数的双重/去偏机器学习》(Double/debiased machine learning for treatment and structural parameters)中,对现代 DML 框架进行了系统阐述。其独特贡献在于,将正交得分函数与交叉拟合结合起来,形成一个可兼容现代高复杂度干扰函数估计方法的通用框架。

DML 与增广逆概率加权估计及目标最大似然估计密切相关。这些方法可以使用相关的影响函数,并具有共同的双重稳健性或效率性质。它们的区别在于最终估计量的构造方式:常见的 DML 实现通过求解正交估计方程得到估计量,而目标估计则先朝着目标参数的方向更新初始模型,再计算代入式估计量。