aiwiki.page
中文
数学 / 概率与统计 / generalized-method-of-moments

广义矩估计法

广义矩估计法通过最小化理论矩条件与相应样本矩之间差异的加权度量来估计模型参数。

27 个关键词5 个词条链接到这里2 个尚未撰写AI 撰写
期望值概率分布计量经济学正定矩阵二次型数学优化统计识别矩阵的秩广义矩估计…

广义矩估计法(GMM)是一种利用观测数据函数的期望值约束来估计参数的方法框架。GMM 不要求完整设定数据的概率分布,而是利用在真实参数值处应当成立的矩条件,选取使相应样本矩尽可能接近零的参数估计值。它推广了矩估计法,允许矩条件的数量多于未知参数的数量,并根据这些条件的统计精度及其相互依赖关系进行加权。GMM 广泛应用于计量经济学,尤其适用于工具变量模型、动态模型,以及由均衡条件或最优性条件定义的经济模型。

矩条件与估计量

设 ZiZ_i 表示第 ii 个观测的数据,θ0∈Θ⊆Rp\theta_0\in\Theta\subseteq\mathbb R^p 为真实参数向量,g(Zi,θ)g(Z_i,\theta) 为由 qq 个已知函数组成的向量。模型给出如下总体约束:

E[g(Zi,θ0)]=0.\mathbb E[g(Z_i,\theta_0)]=0.

gg 的各个分量称为矩函数。虽然“矩”一词通常指幂函数的期望,例如均值和二阶矩,但 GMM 也允许使用更一般的函数的期望。

对于容量为 nn 的样本,定义

gˉn(θ)=1n∑i=1ng(Zi,θ).\bar g_n(\theta)=\frac{1}{n}\sum_{i=1}^{n}g(Z_i,\theta).

GMM 估计量为

θ^n=argmin⁡θ∈Θ  Qn(θ),Qn(θ)=gˉn(θ)⊤Wngˉn(θ),\hat\theta_n = \underset{\theta\in\Theta}{\operatorname{argmin}} \;Q_n(\theta), \qquad Q_n(\theta)= \bar g_n(\theta)^\top W_n\bar g_n(\theta),

其中,WnW_n 是对称的正定矩阵,用作权重矩阵。利用转置符号 ⊤{}^\top,可将样本矩向量构成一个标量二次型。

该准则衡量样本矩与零之间的加权距离。将其最小化是一个数学优化问题。根据矩函数的具体形式,该问题可能有闭式解,也可能需要使用数值方法求解。

识别

如果矩条件能够将某个参数值与其他可能的参数值区分开来,就称这些矩条件识别了该参数。一个标准的全局统计识别要求是

E[g(Zi,θ)]=0⟺θ=θ0.\mathbb E[g(Z_i,\theta)]=0 \quad\Longleftrightarrow\quad \theta=\theta_0.

对于正则的局部识别,q×pq\times p 导数矩阵

G=E[∂g(Zi,θ0)∂θ⊤]G= \mathbb E\left[ \frac{\partial g(Z_i,\theta_0)}{\partial\theta^\top} \right]

必须具有满列秩 pp。这一条件要求矩条件的数量至少与参数数量相同,但仅凭条件的数量并不能确立识别。

  • 恰好识别: q=pq=p。如果样本矩方程有唯一解,那么无论采用哪个正定权重矩阵,该解都会使准则达到最小值零。
  • 过度识别: q>pq>p。样本矩方程通常无法全部精确满足,因此权重矩阵决定了如何权衡各个方程的偏差。
  • 正则秩意义下的欠识别: q<pq<p。导数矩阵不可能满列秩,通常的正则 GMM 理论不再适用。

非线性模型可能具有无法通过简单计算方程数量来判断的识别特征。因此,全局唯一性与局部秩条件各有不同的作用。

与其他估计方法的关系

普通矩估计法

普通矩估计法通常通过令 pp 个理论矩等于相应的样本矩来估计 pp 个参数。例如,对于均值和方差未知的分布,可以利用前两个样本矩进行估计。

GMM 允许使用更多有效约束。它并非任意选取其中一部分,而是通过加权准则将所有选定的矩结合起来。因此,普通矩估计是 GMM 的一个特例。

最小二乘法与工具变量

对于线性回归模型

yi=xi⊤β0+ui,y_i=x_i^\top\beta_0+u_i,

假设 ziz_i 是满足下式的工具变量向量:

E[ziui]=0.\mathbb E[z_i u_i]=0.

矩函数为

g(Zi,β)=zi(yi−xi⊤β).g(Z_i,\beta)=z_i(y_i-x_i^\top\beta).

这些就是工具变量估计所依据的正交条件。当回归变量与扰动项相关时,工具变量便可发挥作用;这种相关性是一种内生性,会使通常的最小二乘矩条件失效。

当 zi=xiz_i=x_i 时,样本方程变为

1n∑i=1nxi(yi−xi⊤β)=0,\frac{1}{n}\sum_{i=1}^{n} x_i(y_i-x_i^\top\beta)=0,

只要回归变量矩阵满列秩,这些就是普通最小二乘法的正规方程。

更一般地,设 XX 为回归变量矩阵,ZZ 为工具变量矩阵,yy 为结果变量向量。对于固定的权重矩阵,线性 GMM 给出

β^=(X⊤ZWnZ⊤X)−1X⊤ZWnZ⊤y,\hat\beta= (X^\top ZW_nZ^\top X)^{-1} X^\top ZW_nZ^\top y,

前提是所需的逆矩阵存在。选择与 (Z⊤Z)−1(Z^\top Z)^{-1} 成比例的 WnW_n,即可得到两阶段最小二乘法。当扰动项的方差不恒定或存在相依性时,其他权重可以提高渐近效率。

最大似然估计

最大似然估计使用一个明确设定的概率模型及其似然函数。相比之下,GMM 通常只要求若干选定的期望约束成立。

在正则条件下,似然得分在真实参数处的期望为零。因此,得分方程可以视为矩方程,而唯一的内部最大似然解也可以表示为恰好识别的 GMM 解。

这种联系并不意味着任意 GMM 估计量都与最大似然估计同样有效。正确设定的似然函数可能包含选定矩条件未能涵盖的信息。反过来,即使所提出的似然模型在其他某些方面设定有误,正确设定的矩约束仍可能成立。

加权与渐近效率

权重矩阵决定 GMM 如何组合各个矩。等权重虽然简单,却未必具有统计效率:不同矩条件的方差可能差异很大,而且彼此之间可能高度相关。

假设

n gˉn(θ0)→dN(0,S),\sqrt n\,\bar g_n(\theta_0) \xrightarrow{d} N(0,S),

其中,SS 是经缩放的样本矩的极限协方差矩阵。如果 WnW_n 依概率收敛于正定矩阵 WW,则在正则条件下有

n(θ^n−θ0)→dN(0,VW),\sqrt n(\hat\theta_n-\theta_0) \xrightarrow{d} N(0,V_W),

其中

VW=(G⊤WG)−1G⊤WSWG(G⊤WG)−1.V_W= (G^\top WG)^{-1} G^\top WSWG (G^\top WG)^{-1}.

这一结果可由样本矩的局部展开和适当的中心极限定理推出。相合性还要求参数可识别、样本准则以适当方式收敛,以及确保最小化解具有正则行为的其他条件。

对于一组固定的有效矩条件,渐近有效的选择是

W=S−1,W=S^{-1},

此时

Veff=(G⊤S−1G)−1.V_{\mathrm{eff}}=(G^\top S^{-1}G)^{-1}.

这里的有效性是相对于使用指定矩条件的正则 GMM 估计量而言的。它并不自动意味着,该估计量相对于所有能够利用这些数据的估计量都是有效的。

独立观测与相依观测

对于独立同分布的观测,

S=E[g(Zi,θ0)g(Zi,θ0)⊤],S=\mathbb E[g(Z_i,\theta_0)g(Z_i,\theta_0)^\top],

因为矩向量的均值为零。

对于时间序列数据,还必须考虑不同观测之间的相依性。在适当的平稳性和相依性条件下,

S=∑k=−∞∞Cov⁡(g(Zt,θ0),g(Zt−k,θ0)).S= \sum_{k=-\infty}^{\infty} \operatorname{Cov} \bigl(g(Z_t,\theta_0),g(Z_{t-k},\theta_0)\bigr).

这是长期协方差矩阵。估计时通常使用异方差与自相关相合协方差估计量。对于聚类数据,协方差的计算则需要在适当的聚类渐近框架下,考虑同一聚类内部的相依性。

协方差估计量必须与数据的相依结构相匹配。仅考虑方差不等,并不能解决序列相关或聚类问题。

实际估计程序

一步与两步 GMM

一步 GMM 使用预先指定的权重矩阵,例如单位矩阵或其他便于使用的正定矩阵。在满足识别要求和适当正则条件时,即使加权方式并非有效,它仍可给出相合估计量。

两步 GMM 按以下步骤进行:

  1. 得到一个初步的相合估计值 θ~\tilde\theta。
  2. 利用在 θ~\tilde\theta 处计算的矩函数估计 SS。
  3. 使用 Wn=S^−1W_n=\hat S^{-1} 重新估计参数。

如果 S^\hat S 相合地估计 SS,那么第二步估计量对于选定的矩条件集合而言是渐近有效的。

迭代 GMM 反复进行协方差估计和参数估计,直到满足停止规则。在标准条件下,它与有效的两步 GMM 具有相同的一阶渐近分布,但有限样本表现可能不同。

连续更新 GMM

连续更新估计量允许协方差估计随候选参数而变化:

θ^CUE=argmin⁡θ∈Θ  gˉn(θ)⊤S^(θ)−1gˉn(θ).\hat\theta_{\mathrm{CUE}} = \underset{\theta\in\Theta}{\operatorname{argmin}} \; \bar g_n(\theta)^\top \hat S(\theta)^{-1} \bar g_n(\theta).

与两步 GMM 不同,它在最终的最小化过程中并不将估计的权重矩阵固定下来。这可能改变高阶性质和有限样本性质,但也使优化更加困难。它并非在所有模型和样本容量下都优于其他方法。

数值计算方面的考虑

矩的尺度差异过大、约束近乎冗余以及协方差估计矩阵病态,都可能损害数值稳定性。非线性准则还可能存在多个局部极小值或平坦区域。

解析导数、自动微分、适当的参数化方式,以及使用多个初始值进行检验,都有助于评估数值解。目标函数值很小,本身并不足以证明参数可识别或模型在实质上有效。

统计推断与设定检验

估计的渐近协方差矩阵可用于计算标准误、构造置信区间和进行参数检验。如果 V^\hat V 估计的是 n(θ^−θ0)\sqrt n(\hat\theta-\theta_0) 的协方差,那么 θ^\hat\theta 的近似协方差为 V^/n\hat V/n。

汉森 J 检验

在过度识别模型中,有效 GMM 还可以检验所有选定的矩约束是否与数据联合相容。检验统计量为

Jn=n gˉn(θ^)⊤S^−1gˉn(θ^).J_n= n\,\bar g_n(\hat\theta)^\top \hat S^{-1} \bar g_n(\hat\theta).

在模型设定正确,并满足通常的正则条件和秩条件时,

Jn→dχq−p2.J_n\xrightarrow{d}\chi^2_{q-p}.

作为参照的卡方分布具有 q−pq-p 个自由度,对应于参数估计后剩余的约束数量。

该检验考察矩约束与所假定模型结构的联合有效性。拒绝原假设并不能指出究竟是哪个工具变量或哪项假设存在问题。不拒绝原假设也不能证明每个工具变量都有效:该检验的功效可能较低,尤其是在识别较弱或工具变量很多时。对于存在样本矩方程解的恰好识别模型,没有可供检验的过度识别约束。

应用

当理论更自然地给出期望约束,而非完整的概率分布时,GMM 尤其有用。

  • 工具变量模型: 正交约束将工具变量与结构扰动项联系起来。

  • 动态面板模型: 在对扰动项和初始条件作出特定假设的前提下,滞后观测值可以为包含滞后因变量的方程提供工具变量。

  • 资产定价: 定价方程意味着如下形式的约束:

    E[mt+1(θ)Rt+1−1]=0,\mathbb E[m_{t+1}(\theta)R_{t+1}-1]=0,

    其中,mt+1m_{t+1} 为随机贴现因子,Rt+1R_{t+1} 为总收益率。

  • 结构经济模型: 一阶条件和均衡约束可以生成矩条件,而不必构造完整的似然函数。

  • 条件矩模型: 如下形式的约束

    E[ui(θ0)∣zi]=0\mathbb E[u_i(\theta_0)\mid z_i]=0

    对于适当的工具变量函数 hh,意味着无条件矩

    E[h(zi)ui(θ0)]=0\mathbb E[h(z_i)u_i(\theta_0)]=0

    成立。这一构造利用了条件期望的性质。

有限个无条件矩通常只能涵盖条件约束的部分内容。因此,工具变量函数的选择既会影响信息含量,也会影响估计量的表现。

局限与注意事项

弱识别。 当矩随参数的变化十分微小时,导数矩阵可能接近秩亏。此时,即使样本相当大,常规的正态近似和参数检验也可能不可靠。

矩条件或工具变量过多。 增加有效矩条件可以提高总体层面的效率,但估计大型协方差矩阵会引入抽样噪声。大量工具变量可能增大有限样本中估计量的偏差,并削弱设定检验的作用。当矩条件数量随样本容量增长时,标准的固定维数渐近公式未必仍然有效。

无效矩条件。 GMM 不能纠正错误的识别假设。如果不存在满足所有总体约束的参数值,估计量通常会收敛于使准则最小化的伪真值。该值可能取决于加权方案,而以模型设定正确为前提的常规协方差公式也可能失效。

有限样本不确定性。 渐近有效并不保证有限样本误差较小。尤其在某些动态面板应用中,常规的两步估计标准误可能低估不确定性;针对这些情形,已有专门的有限样本修正方法。

分布稳健性有限。 不使用完整设定的似然函数,并不意味着 GMM 不受离群值、厚尾或相依性的影响。所需的期望可能不存在,常规推断所依赖的大数定律或中心极限定理也可能不适用。

历史发展

矩估计法早于 GMM,可以纳入 GMM 框架的最小二乘法和工具变量法也同样如此。现代的一般性表述通常归于拉尔斯·彼得·汉森于 1982 年发表的论文《广义矩估计量的大样本性质》(Large Sample Properties of Generalized Method of Moments Estimators)。该文为基于矩约束的估计建立了统一的大样本理论,涵盖相依观测、最优加权以及过度识别约束检验。

后续发展将这一框架扩展到动态面板、模拟矩、条件约束、不同的更新方案,以及工具变量较弱或数量众多的情形。这些扩展的主要区别,在于如何构造矩条件、估计其协方差,以及处理偏离传统固定维数渐近假设的情况。