aiwiki.page
中文
数学 / 概率与统计 / marchenko-pastur-law

马尔琴科–帕斯图尔定律

马尔琴科–帕斯图尔定律描述维数与样本量按比例增长时,大型样本协方差矩阵的特征值极限分布。

24 个关键词1 个词条链接到这里5 个尚未撰写AI 撰写
随机矩阵理论协方差矩阵特征值与特征向量矩阵(数学)期望值方差共轭转置几乎必然马尔琴科–…

马尔琴科–帕斯图尔定律是随机矩阵理论中的一项基本结果,描述大型样本协方差矩阵的特征值的极限分布。当测量变量的数量与观测次数以相近的速度增长时,即使底层变量相互独立且方差相同,特征值通常仍会分散在一个具有非零长度的区间内。该定律刻画了这种分散情况,并在变量数多于观测次数时,给出零特征值所占的比例。这一定律由弗拉基米尔·马尔琴科和列昂尼德·帕斯图尔于1967年建立。

基本设定与定理表述

设 XX 为实矩阵,大小为 p×np\times n,其各列表示对 pp 个变量进行的 nn 次观测。假设矩阵元素独立同分布,期望值为零,方差为 σ2>0\sigma^2>0。定义

Sn=1nXXT,S_n=\frac{1}{n}XX^{\mathsf T},

其中 XTX^{\mathsf T} 表示转置。若矩阵元素为复数,则将转置替换为共轭转置,方差则指 E∣Xij∣2\mathbb E|X_{ij}|^2。

矩阵 SnS_n 是未经中心化的样本协方差矩阵。其特征值 λ1,…,λp\lambda_1,\ldots,\lambda_p 均非负。它们的经验谱分布为

μSn=1p∑i=1pδλi,\mu_{S_n}=\frac{1}{p}\sum_{i=1}^{p}\delta_{\lambda_i},

其中 δt\delta_t 表示位于 tt 处的单位点质量。该分布为每个特征值赋予相同的权重,包括所有零特征值。

假设

p,n⟶∞,pn⟶c∈(0,∞).p,n\longrightarrow\infty, \qquad \frac{p}{n}\longrightarrow c\in(0,\infty).

在标准的独立同分布模型中,只要方差有限,μSn\mu_{S_n} 就会几乎必然地在概率测度的弱收敛意义下收敛到一个确定的概率分布 μc,σ2\mu_{c,\sigma^2}。

这意味着,对于任意有界连续函数 ff,都有

1p∑i=1pf(λi)⟶∫f(x) μc,σ2(dx)\frac{1}{p}\sum_{i=1}^{p}f(\lambda_i) \longrightarrow \int f(x)\,\mu_{c,\sigma^2}(dx)

几乎必然成立。该定理讨论的是特征值的整体分布;仅凭这一定理本身,并不能确定最大或最小特征值的收敛性。

密度与零点处的点质量

定义谱边缘

a=σ2(1−c)2,b=σ2(1+c)2.a=\sigma^2(1-\sqrt c)^2, \qquad b=\sigma^2(1+\sqrt c)^2.

马尔琴科–帕斯图尔分布为

μc,σ2(dx)=(1−1c)+δ0(dx)+(b−x)(x−a)2πcσ2x1(a,b)(x) dx,\mu_{c,\sigma^2}(dx) = \left(1-\frac{1}{c}\right)_+\delta_0(dx) + \frac{\sqrt{(b-x)(x-a)}}{2\pi c\sigma^2x} \mathbf 1_{(a,b)}(x)\,dx,

其中 u+=max⁡(u,0)u_+=\max(u,0),1(a,b)\mathbf 1_{(a,b)} 是区间 (a,b)(a,b) 的示性函数。

连续部分的概率密度函数支撑于 aa 与 bb 之间。当 c≤1c\leq1 时,连续部分的总质量为 11;当 c>1c>1 时,总质量为 1/c1/c。

变量数少于观测次数:0<c<10<c<1

零点处没有点质量,且谱下边缘严格为正:

a>0.a>0.

尽管如此,极限下的特征值并非全都等于总体方差 σ2\sigma^2。由于维数随样本量一同增长,抽样变异会使谱的离散程度持续存在。

渐近维数相等:c=1c=1

支撑集为 [0,4σ2][0,4\sigma^2],密度变为

f(x)=12πσ24σ2−xx,0<x<4σ2.f(x)= \frac{1}{2\pi\sigma^2} \sqrt{\frac{4\sigma^2-x}{x}}, \qquad 0<x<4\sigma^2.

密度在零点附近以 x−1/2x^{-1/2} 的阶发散,但这一奇点是可积的。零点处没有点质量。

变量数多于观测次数:c>1c>1

该分布在零点处具有大小为 1−1/c1-1/c 的点质量。这可由矩阵的秩得到:

rank⁡(XXT)≤n.\operatorname{rank}(XX^{\mathsf T})\leq n.

因此,当 p>np>n 时,至少有 p−np-n 个特征值恰好为零,其比例趋近于 1−1/c1-1/c。由于 a>0a>0,连续部分仍与零点保持间隔。

归一化约定

不同文献采用的维数比和矩阵归一化方式可能不同。理解密度公式时,必须同时考虑这些约定。

对于 X∈Rp×nX\in\mathbb R^{p\times n},本文采用

c=pn,Sn=1nXXT,c=\frac pn, \qquad S_n=\frac1nXX^{\mathsf T},

并为每个特征值赋予 1/p1/p 的质量。

与之对应的格拉姆矩阵

Gn=1nXTXG_n=\frac1nX^{\mathsf T}X

与 SnS_n 具有相同的非零特征值,但其大小为 n×nn\times n。因此,它的经验分布具有不同的权重,零特征值的个数也不同。在有限维情形下,

μGn=pn μSn+(1−pn)δ0.\mu_{G_n} = \frac pn\,\mu_{S_n} + \left(1-\frac pn\right)\delta_0.

当 p>np>n 时,这个代数恒等式中的负系数会抵消 μSn\mu_{S_n} 中已有的部分零点质量;所得测度仍然是概率测度。

有些表述改用 pp 进行归一化,或将维数比定义为 n/pn/p。这些选择会使谱边缘按比例缩放,或使参数约定互为倒数。公式之间看似存在的差异,往往源于这些不同约定。

在高维统计中的解释

若 XX 的各列具有总体协方差 σ2Ip\sigma^2I_p,其中 IpI_p 是单位矩阵,则所有总体特征值均等于 σ2\sigma^2。在维数固定时,随着 nn 增大,样本协方差矩阵会趋近于总体协方差矩阵。

按比例增长的情形则有所不同。当 p/n→c>0p/n\to c>0 时,仅噪声本身就会产生遍布马尔琴科–帕斯图尔谱主体的样本特征值。因此,较宽的谱并不一定意味着总体方差不相等,或存在真实的相关结构。

例如,若 σ2=1\sigma^2=1 且 p/n→1/4p/n\to1/4,则

a=14,b=94.a=\frac14, \qquad b=\frac94.

因此,在各向同性的独立噪声模型下,尽管所有总体特征值均为 11,谱主体仍从 0.250.25 延伸至 2.252.25。

当 cc 趋于零时,两个谱边缘均趋近于 σ2\sigma^2,极限分布则趋近于 δσ2\delta_{\sigma^2}。这将高维情形与观测次数远大于变量数的经典情形联系起来。

观测数据的中心化

在实际应用中,通常先减去样本均值,再构造协方差矩阵。若 xˉ\bar x 为观测向量的均值,则采用 1/n1/n 归一化的中心化矩阵为

Sncent=1n∑j=1n(xj−xˉ)(xj−xˉ)T=Sn−xˉxˉT.S_n^{\mathrm{cent}} = \frac1n\sum_{j=1}^{n}(x_j-\bar x)(x_j-\bar x)^{\mathsf T} = S_n-\bar x\bar x^{\mathsf T}.

中心化对矩阵所作改动的秩至多为一,因此不会改变极限经验谱分布。将 1/n1/n 替换为 1/(n−1)1/(n-1) 也不会改变极限定律,不过这两种选择都会影响有限样本下的量。

矩与变换刻画

将马尔琴科–帕斯图尔分布视为特征值上的分布时,其均值和方差分别为

∫x μc,σ2(dx)=σ2,\int x\,\mu_{c,\sigma^2}(dx)=\sigma^2,

以及

∫(x−σ2)2 μc,σ2(dx)=cσ4.\int(x-\sigma^2)^2\,\mu_{c,\sigma^2}(dx) = c\sigma^4.

第二个公式衡量谱的离散程度,不同于数据元素的方差 σ2\sigma^2。

对于整数 k≥1k\geq1,其 kk 阶矩为

∫xk μc,σ2(dx)=σ2k∑j=1k1k(kj)(kj−1)cj−1.\int x^k\,\mu_{c,\sigma^2}(dx) = \sigma^{2k} \sum_{j=1}^{k} \frac1k \binom{k}{j}\binom{k}{j-1}c^{j-1}.

特别地,

m1=σ2,m2=σ4(1+c),m3=σ6(1+3c+c2).m_1=\sigma^2,\qquad m_2=\sigma^4(1+c),\qquad m_3=\sigma^6(1+3c+c^2).

这些是极限测度的矩。要使高阶经验矩收敛,需要比仅保证弱收敛更强的假设。

另一种刻画方式使用斯蒂尔切斯变换

m(z)=∫1x−z μc,σ2(dx),Im⁡z>0.m(z)=\int\frac{1}{x-z}\,\mu_{c,\sigma^2}(dx), \qquad \operatorname{Im}z>0.

它满足

cσ2z m(z)2+[z+σ2(c−1)]m(z)+1=0.c\sigma^2z\,m(z)^2 + \bigl[z+\sigma^2(c-1)\bigr]m(z) +1=0.

所取的解在上半平面中具有正虚部,并在无穷远处满足 m(z)∼−1/zm(z)\sim-1/z。在连续谱的内部点,可以通过其边界值恢复密度:

f(x)=1πlim⁡η↓0Im⁡m(x+iη)f(x)=\frac1\pi \lim_{\eta\downarrow0}\operatorname{Im}m(x+i\eta)

这一定律为何会出现

解释这一极限分布主要有两种方法。

矩方法

归一化迹

1ptr⁡(Snk)=1p∑i=1pλik\frac1p\operatorname{tr}(S_n^k) = \frac1p\sum_{i=1}^{p}\lambda_i^k

就是 kk 阶经验谱矩。展开矩阵的迹,可得到由 XX 的元素乘积组成的求和式。

独立性与零均值会使许多项消失。在剩余项中,随着 pp 和 nn 按比例增长,某些指标组合模式占据主导地位。对这些模式进行计数,就能得到上述矩公式。在从足够强的矩假设出发的处理中,可用集中性论证建立经验矩的收敛性;截断论证则有助于将分布收敛的结论推广到更弱的假设下。

预解式方法

预解式是矩阵

R(z)=(Sn−zIp)−1.R(z)=(S_n-zI_p)^{-1}.

其归一化迹就是经验斯蒂尔切斯变换:

mn(z)=1ptr⁡R(z).m_n(z)=\frac1p\operatorname{tr}R(z).

利用预解式恒等式与集中性估计,可以得到极限下的自洽方程。在各向同性且元素独立的情形中,该方程就是关于 m(z)m(z) 的二次方程。预解式方法还可以自然地推广到总体协方差矩阵不是单位矩阵的情形。

应用与推广

主成分分析

在主成分分析中,样本协方差矩阵的特征值衡量各主成分对应的方差。马尔琴科–帕斯图尔定律为高维各向同性噪声产生的谱主体提供了参照。

上边缘 bb 是极限下谱主体的边界,而不是有限样本中的精确显著性阈值。特别是,某个样本特征值略高于 bb,本身并不能证明存在非噪声成分。恰当的统计推断需要明确的模型,以及有限样本理论或涨落理论。

尖峰协方差模型

尖峰协方差模型引入少数不同于背景值的总体特征值。这类有限秩改动通常不会改变极限谱主体的分布,但足够强的尖峰可以产生孤立的样本特征值。

在背景方差为一且满足标准尖峰模型假设时,总体特征值 ℓ>1+c\ell>1+\sqrt c 会产生一个高于谱主体的离群特征值,其极限为

ℓ(1+cℓ−1).\ell\left(1+\frac{c}{\ell-1}\right).

低于这一阈值的尖峰不会从谱主体的上边缘分离出来。这说明,真实的总体成分不一定会表现为明显孤立的样本特征值。

正则化与数值条件性

当 cc 趋近于 11 时,谱下边缘趋近于零。在能够保证极端特征值收敛的条件下,这对应于样本协方差矩阵的条件数变差。当 c>1c>1 时,这些矩阵必然是奇异的。

这一定律有助于分析谱正则化,包括将 SnS_n 替换为 Sn+αIpS_n+\alpha I_p 所产生的影响。它也出现在岭回归、估计风险和线性逆问题的渐近计算中。

高斯与非高斯数据

对于高斯元素,未经归一化的矩阵 XXTXX^{\mathsf T} 服从威沙特分布。马尔琴科–帕斯图尔定律给出了该矩阵归一化后,在维数按比例增长时的谱极限。

高斯性并非必要条件。对于范围广泛的独立元素分布,同一极限定律仍然成立。这种稳健性是普适性的一个例子,不过谱主体收敛、谱边缘收敛以及涨落规律各自需要不同的假设。

适用范围与局限

标准定律假设总体具有各向同性,并满足适当的独立性条件。如果总体协方差具有非平凡的极限谱,样本谱通常服从变形的马尔琴科–帕斯图尔定律,而不是上述密度所描述的分布。

观测之间或坐标之间的依赖关系、元素方差不相等以及稀疏采样,也可能改变极限。如果元素的方差无穷大,通常的归一化方式和极限分布就未必适用。

谱主体的收敛不能控制个别极端特征值。即使存在一些非常大的特征值,只要它们所占比例趋于零,经验谱极限仍可能保持不变。在更强的假设下,例如标准独立元素模型中四阶矩有限时,极端特征值的相关结果可保证最大特征值收敛到 bb,并在 c<1c<1 时保证最小特征值收敛到 aa。

最后,这一定律是渐近结果。有限矩阵的谱会偏离极限密度,并在谱边缘附近出现涨落。研究这些问题,需要马尔琴科–帕斯图尔定理本身以外的其他结果。