aiwiki.page
中文
数学 / 概率与统计 / two-stage-least-squares

两阶段最小二乘法

两阶段最小二乘法是一种工具变量方法,用于解释变量与误差项相关时的线性回归模型估计。

20 个关键词2 个词条链接到这里2 个尚未撰写AI 撰写
工具变量线性回归普通最小二乘法计量经济学内生性矩阵(数学)统计识别矩阵的秩两阶段最小…

两阶段最小二乘法(2SLS)是一种工具变量方法,用于在一个或多个解释变量与模型误差项相关时估计线性回归模型的系数。该方法先将解释变量投影到一组工具变量所张成的空间,再将结果变量对所得的拟合值进行回归。在工具变量有效且满足适当正则条件的情况下,即使普通最小二乘法(OLS)无法得到相合估计,两阶段最小二乘法仍能得到相合的系数估计。它广泛应用于计量经济学,尤其适用于涉及联立决定、遗漏变量或测量误差的模型。

所要解决的问题

考虑结构方程

yi=xi⊤β+ui,y_i=x_i^\top\beta+u_i,

其中,yiy_i 为结果变量,xix_i 为解释变量向量,β\beta 为系数向量,uiu_i 为不可观测的误差。截距可以作为 xix_i 的一个分量纳入模型。

除识别条件和正则条件外,OLS 的相合性通常还要求满足总体正交条件

E[xiui]=0\mathbb E[x_i u_i]=0

。当这一条件不成立时,模型便存在内生性。例如:

  • 某个被遗漏的结果决定因素,也可能影响某个解释变量。
  • 结果变量和某个解释变量可能由同一系统联立决定,例如市场中的价格和数量。
  • 解释变量的测量误差可能使其与回归误差相关。

在这些情况下,增加样本量通常并不能使 OLS 估计收敛于真实的结构系数。

2SLS 转而使用满足以下条件的工具变量向量 ziz_i:

E[ziui]=0.\mathbb E[z_i u_i]=0.

工具变量还必须对解释变量具有足够的预测能力,以识别其系数。因此,这种方法以有效工具变量所带来的变动,替代受到内生性污染的变动。

模型与工具变量的要求

将样本模型写为

y=Xβ+u,y=X\beta+u,

其中,yy 的维度为 n×1n\times1,XX 的维度为 n×kn\times k,工具变量矩阵 ZZ 的维度为 n×ℓn\times\ell。

将回归变量划分为以下形式往往很有帮助:

X=[W    D],Z=[W    Q],X=[W\;\;D],\qquad Z=[W\;\;Q],

其中,WW 包含方程内的外生回归变量,DD 包含内生回归变量,QQ 包含排除在方程之外的工具变量。方程内的外生回归变量通常以自身作为工具变量。

以下三项要求至关重要。

工具变量的外生性

工具变量必须满足正交条件 E[ziui]=0\mathbb E[z_i u_i]=0。推导中常用的一个更强条件是 E[ui∣zi]=0\mathbb E[u_i\mid z_i]=0。

在结构因果模型中,被排除的工具变量还必须满足排除限制:它们不能通过所设定方程之外的途径影响结果变量。排除限制与工具变量外生性在概念上有所区别,但两者都为工具变量矩条件的有效性提供支持。

相关性与秩

总体矩阵

E[zixi⊤]\mathbb E[z_i x_i^\top]

必须具有列秩 kk。这是一项统计识别条件:工具变量必须提供足够多彼此可区分的变动,才能区分所有系数。

阶条件 ℓ≥k\ell\geq k 是必要条件,但不是充分条件。等价地说,被排除的工具变量个数必须至少等于内生回归变量个数。仅仅清点工具变量的数量,并不能证明所要求的矩阵的秩条件成立。

正则条件

相合性和常规的大样本推断还需要适当的抽样假设、矩条件,以及相关总体矩阵的非奇异性。对于时间序列或聚类观测,假设必须考虑观测之间的依赖关系。

不能仅凭第一阶段关系很强就认定工具变量有效。如果某个工具变量与结果变量的遗漏决定因素有关,那么即使它具有很强的预测能力,也仍可能无效。

两个阶段

第一阶段:将回归变量投影到工具变量空间

将每个内生解释变量对完整的工具变量集合进行回归,其中包括方程内的所有外生回归变量。用矩阵记号表示,拟合后的回归变量矩阵为

X^=PZX,PZ=Z(Z⊤Z)−1Z⊤,\widehat X=P_ZX, \qquad P_Z=Z(Z^\top Z)^{-1}Z^\top,

这里假定 ZZ 满列秩。

矩阵 PZP_Z 是投影到 ZZ 的列空间的正交投影矩阵。由于方程内的外生回归变量本来就属于该空间,它们的拟合值等于其观测值。

第一阶段无须正确设定每个内生回归变量的完整条件期望。标准估计量使用的是线性投影;其相合性来自有效的矩条件和识别条件。

第二阶段:将结果变量对拟合后的回归变量进行回归

将 yy 对 X^\widehat X 进行回归。所得系数估计为

β^2SLS=(X^⊤X^)−1X^⊤y=(X⊤PZX)−1X⊤PZy.\widehat\beta_{\mathrm{2SLS}} = (\widehat X^\top\widehat X)^{-1}\widehat X^\top y = (X^\top P_ZX)^{-1}X^\top P_Zy.

这就是定义 2SLS 的公式。

两阶段的描述解释了系数如何计算,但手动执行第二阶段后得到的常规 OLS 标准误通常并不正确。统计推断必须采用工具变量法的协方差计算方式。

解释与特殊情形

一个回归变量和一个工具变量

当模型包含截距、一个内生回归变量 xix_i 和一个被排除的工具变量 ziz_i 时,斜率估计为

β^IV=∑i(zi−zˉ)(yi−yˉ)∑i(zi−zˉ)(xi−xˉ).\widehat\beta_{\mathrm{IV}} = \frac{\sum_i(z_i-\bar z)(y_i-\bar y)} {\sum_i(z_i-\bar z)(x_i-\bar x)}.

因此,该估计等于工具变量与结果变量的样本协方差,除以工具变量与回归变量的样本协方差。

对于二元工具变量,上式成为瓦尔德比率:

β^IV=yˉz=1−yˉz=0xˉz=1−xˉz=0.\widehat\beta_{\mathrm{IV}} = \frac{\bar y_{z=1}-\bar y_{z=0}} {\bar x_{z=1}-\bar x_{z=0}}.

要赋予它因果解释,还需要这一代数恒等式之外的假设。

恰好识别与过度识别

若 ℓ=k\ell=k,且 Z⊤XZ^\top X 可逆,则模型恰好识别,并且

β^2SLS=(Z⊤X)−1Z⊤y.\widehat\beta_{\mathrm{2SLS}} = (Z^\top X)^{-1}Z^\top y.

若 ℓ>k\ell>k,则模型过度识别。此时,估计量综合使用的工具变量矩条件多于待估系数。

若 Z=XZ=X,则 PZX=XP_ZX=X,2SLS 退化为 OLS。

几何解释

2SLS 仅使用每个回归变量中位于工具变量所张成空间内的分量。一般而言,它并不使原始残差平方和 (y−Xβ)⊤(y−Xβ)(y-X\beta)^\top(y-X\beta) 最小,而是最小化

(y−Xβ)⊤PZ(y−Xβ).(y-X\beta)^\top P_Z(y-X\beta).

这一区别解释了为什么工具变量回归不一定具有 OLS 常见的拟合优度性质。特别是,根据结构残差计算的决定系数可能为负。

相合性与统计推断

定义

QXZ=E[xizi⊤],QZZ=E[zizi⊤].Q_{XZ}=\mathbb E[x_i z_i^\top], \qquad Q_{ZZ}=\mathbb E[z_i z_i^\top].

在工具变量有效、模型可识别且适当的大数定律成立时,2SLS 估计量是 β\beta 的相合估计量。在识别足够强且满足中心极限定理所需条件时,

n(β^2SLS−β)→dN(0,V).\sqrt n(\widehat\beta_{\mathrm{2SLS}}-\beta) \xrightarrow{d} N(0,V).

相合性并不意味着有限样本下的无偏性。事实上,当工具变量较弱时,有限样本分布可能极不规则。

同方差下的协方差估计

在常规的同方差模型下,

Var⁡(u∣Z)=σ2I,\operatorname{Var}(u\mid Z)=\sigma^2 I,

系数估计量通常采用的渐近协方差矩阵估计为

Var⁡^(β^2SLS)=σ^2(X⊤PZX)−1.\widehat{\operatorname{Var}} (\widehat\beta_{\mathrm{2SLS}}) = \widehat\sigma^2(X^\top P_ZX)^{-1}.

方差估计必须使用结构残差

u^=y−Xβ^2SLS,\widehat u=y-X\widehat\beta_{\mathrm{2SLS}},

而不是第二阶段回归残差 y−X^β^2SLSy-\widehat X\widehat\beta_{\mathrm{2SLS}}。一种常见的自由度修正是 σ^2=u^⊤u^/(n−k)\widehat\sigma^2=\widehat u^\top\widehat u/(n-k)。

异方差与依赖关系

对于相互独立、但误差方差可能不同的观测,异方差稳健协方差估计量为

V^=A−1X⊤Z(Z⊤Z)−1(∑i=1nzizi⊤u^i2)(Z⊤Z)−1Z⊤XA−1,\widehat V = A^{-1}X^\top Z(Z^\top Z)^{-1} \left(\sum_{i=1}^{n}z_i z_i^\top\widehat u_i^2\right) (Z^\top Z)^{-1}Z^\top X A^{-1},

其中,A=X⊤PZXA=X^\top P_ZX。

聚类稳健或序列相关稳健的版本,会将中间项替换为能够考虑相应依赖关系的估计量。要得到有效的标准误和置信区间,必须使用适合抽样结构的协方差估计量。

弱工具变量与诊断检验

弱识别

弱工具变量是指在控制方程内的外生变量之后,对内生回归变量预测能力很弱的工具变量。模型可能满足总体秩条件,但在给定样本中仍然仅具有较弱的识别能力。

其后果包括:

  • 存在显著的有限样本偏差,在常见情形下往往偏向 OLS 估计。
  • 抽样分布非正态且具有厚尾。
  • 常规的 tt 检验和置信区间不可靠。
  • 对观测值或工具变量的微小变化高度敏感。

第一阶段诊断用于评估被排除的工具变量所作的贡献。当只有一个内生回归变量时,常用的概括性指标包括被排除工具变量的 FF 统计量和偏 R2R^2。经常被引用的“第一阶段 FF 统计量应大于 10”只是经验法则,并不能普遍保证推断可靠。当存在多个内生回归变量、异方差或聚类时,需要更专门的诊断方法。

在常规强工具变量近似失效的情况下,识别稳健方法,包括安德森—鲁宾检验和某些条件似然比方法,仍可提供有效推断。

过度识别检验

过度识别模型允许对工具变量矩限制进行联合检验。常见例子包括同方差条件下的萨根检验,以及稳健的汉森型检验。

这些检验并不能证明工具变量有效。未能拒绝原假设可能是检验功效较低所致,而拒绝原假设则可能表明工具变量无效,或结构方程存在其他设定错误。恰好识别模型没有可供检验的过度识别限制。

内生性检验

杜宾—吴—豪斯曼类方法通过比较 OLS 与工具变量估计,或使用等价的增广回归,检验回归变量的外生性。对这些检验的解释以工具变量有效为前提;弱工具变量也可能使这些检验的常规版本不可靠。

与广义矩估计的关系

2SLS 是广义矩估计(GMM)的一个特例。定义

gn(β)=1nZ⊤(y−Xβ).g_n(\beta)=\frac{1}{n}Z^\top(y-X\beta).

最小化

gn(β)⊤(Z⊤Zn)−1gn(β)g_n(\beta)^\top \left(\frac{Z^\top Z}{n}\right)^{-1} g_n(\beta)

即可得到 2SLS 估计量。

在条件同方差下,这种加权方式在使用相同线性工具变量矩条件的 GMM 估计量中具有渐近有效性。在异方差下,有效 GMM 通常使用不同的加权矩阵。在相关假设成立时,稳健标准误可以使 2SLS 推断对异方差保持稳健,但仅凭稳健标准误本身并不能使系数估计量具有有效性。

相关估计方法包括有限信息极大似然法和三阶段最小二乘法。后者能够利用方程组中不同方程误差之间的协方差,但也对整个方程组施加了更广泛的假设。

应用与因果解释

常见应用包括估计供给和需求方程、教育回报、价格效应,以及对政策变化的反应。该方法也用于随机鼓励设计:在这类设计中,随机分配会改变接受处理的概率,但不会完全决定是否接受处理。

因果解释来自背后的研究设计,而不是两阶段计算本身。在系数恒定的结构模型中,有效工具变量可以识别所设定的因果系数。当处理效应因人而异时,所估计的目标量需要进一步解释。

对于二元工具变量和二元处理,排除限制、工具变量独立性、相关性和单调性能够识别局部平均处理效应:即处理状态会随工具变量变化而改变的那些个体的平均处理效应。它不一定等于总体的平均处理效应。当存在多个工具变量或协变量时,2SLS 对异质性效应的综合方式需要进一步分析。

历史发展与实践局限

2SLS 的现代发展与亨利·泰尔和罗伯特·巴斯曼在 20 世纪 50 年代对联立方程模型的研究密切相关。它后来成为估计单个结构方程的标准方法,无须设定并估计整个联立方程组。

该方法最主要的局限仍然是难以找到可信的工具变量。必须从实质性机制上说明,为什么某个工具变量应被排除在结果方程之外,以及为什么它与结果变量的不可观测决定因素无关;统计诊断不能替代这种论证。

增加工具变量并不一定有益。大量工具变量可能导致第一阶段关系过拟合,并扭曲有限样本表现。标准渐近结果通常假定工具变量个数在样本量增长时保持不变;工具变量很多的情形需要单独分析。

最后,2SLS 是一种线性工具变量估计方法,而不是在任意模型中用预测值替换内生变量的通用方案。将第一阶段拟合值代入逻辑回归等非线性结果模型,通常并不能得到与线性 2SLS 对应的相合估计方法。