aiwiki.page
中文
数学 / 概率与统计 / correlation-matrix

相关矩阵

相关矩阵记录变量之间两两的相关系数,概括其标准化关联,并为多元统计分析提供基础。

32 个关键词1 个词条链接到这里AI 撰写
矩阵(数学)相关性统计学随机变量协方差标准差协方差矩阵期望值相关矩阵

相关矩阵是一种方形矩阵,其元素为各对变量之间的相关系数。通常,相关矩阵包含的是皮尔逊相关系数,用于衡量消除尺度差异后的线性关联。相关矩阵是统计学中的基本工具:它既能概括多个变量之间的关系,也为回归、降维和多元建模等方法提供支持。

定义

设 X1,…,XpX_1,\ldots,X_p 为方差有限且严格大于零的实值随机变量。它们的总体相关矩阵是一个 p×pp\times p 矩阵 RR,其元素为

Rij=ρij=Cov⁡(Xi,Xj)σiσj,R_{ij}=\rho_{ij} =\frac{\operatorname{Cov}(X_i,X_j)} {\sigma_i\sigma_j},

其中,Cov⁡(Xi,Xj)\operatorname{Cov}(X_i,X_j) 是两者的协方差,σi=Var⁡(Xi)\sigma_i=\sqrt{\operatorname{Var}(X_i)} 是 XiX_i 的标准差。

若 Σ\Sigma 是这些变量的协方差矩阵,且

D=diag⁡(σ1,…,σp),D=\operatorname{diag}(\sigma_1,\ldots,\sigma_p),

则

R=D−1ΣD−1.R=D^{-1}\Sigma D^{-1}.

等价地,定义标准化变量

Zi=Xi−E[Xi]σi,Z_i=\frac{X_i-\mathbb{E}[X_i]}{\sigma_i},

其中,E[Xi]\mathbb{E}[X_i] 表示期望值。原变量的相关矩阵就是这些标准化变量的协方差矩阵:

R=E[ZZT],Z=(Z1,…,Zp)T.R=\mathbb{E}[ZZ^{\mathsf T}], \qquad Z=(Z_1,\ldots,Z_p)^{\mathsf T}.

方差为零的变量与任何变量(包括自身)的皮尔逊相关系数都没有定义,因为计算公式需要除以该变量的标准差。二阶矩不有限的变量也不适用这一定义。

数学性质

所有总体皮尔逊相关矩阵都具有以下性质:

  • 对称性:Rij=RjiR_{ij}=R_{ji}。
  • 对角元为一:Rii=1R_{ii}=1。
  • 元素有界:−1≤Rij≤1-1\leq R_{ij}\leq 1。
  • **半正定性:**对任意实向量 aa,都有 aTRa≥0a^{\mathsf T}Ra\geq 0。

各元素的取值界限可由柯西—施瓦茨不等式得出。半正定性则源于

aTRa=Var⁡ ⁣(∑i=1paiZi)≥0.a^{\mathsf T}Ra = \operatorname{Var}\!\left(\sum_{i=1}^{p}a_iZ_i\right) \geq 0.

因此,相关矩阵的所有特征值均为非负数。由于对角元全为一,所有特征值之和为 pp。

相关矩阵是正定矩阵,当且仅当标准化变量的任何非零系数线性组合的方差都不为零。否则,该矩阵是奇异矩阵:中心化后的变量之间存在某种精确的线性关系。

两两相关系数的相容性

对称、对角元为一且各元素介于 −1-1 与 11 之间,并不足以保证一个任意数组是有效的相关矩阵。各相关系数还必须彼此相容。

对于三个变量,记

R=(1aba1cbc1).R= \begin{pmatrix} 1&a&b\\ a&1&c\\ b&c&1 \end{pmatrix}.

除了 ∣a∣,∣b∣,∣c∣≤1|a|,|b|,|c|\leq 1 之外,有效性还要求

det⁡(R)=1+2abc−a2−b2−c2≥0,\det(R)=1+2abc-a^2-b^2-c^2\geq 0,

其中,det⁡(R)\det(R) 是行列式。例如,两个相关系数为 0.90.9、第三个相关系数为 −0.9-0.9 的情况,不可能出现在这样的矩阵中。

反过来,每一个对角元为一的实对称半正定矩阵,都是某个随机向量的相关矩阵。一种构造方法是采用以该矩阵为协方差矩阵的多元正态分布,该分布可能是退化的。这一存在性结论并不意味着,任意指定的边缘分布都能实现每一个这样的矩阵。

样本相关矩阵

对于 pp 个变量的 nn 次观测,设 xkix_{ki} 为变量 ii 的第 kk 个观测值。通常的样本皮尔逊相关系数为

rij=∑k=1n(xki−xˉi)(xkj−xˉj)∑k=1n(xki−xˉi)2∑k=1n(xkj−xˉj)2,r_{ij} = \frac{ \sum_{k=1}^{n}(x_{ki}-\bar{x}_i)(x_{kj}-\bar{x}_j) }{ \sqrt{ \sum_{k=1}^{n}(x_{ki}-\bar{x}_i)^2 \sum_{k=1}^{n}(x_{kj}-\bar{x}_j)^2 } },

其中,xˉi\bar{x}_i 为样本均值。

将数据矩阵的每一列中心化,再除以按分母 n−1n-1 计算的相应样本标准差,得到 n×pn\times p 数据矩阵 ZZ。则

R^=1n−1ZTZ.\widehat{R}=\frac{1}{n-1}Z^{\mathsf T}Z.

协方差计算中的共同归一化因子会在每个相关系数中约去,因此,只要在协方差和方差计算中统一使用分母 nn,得到的相关矩阵也相同。

ZTZZ^{\mathsf T}Z 这一表示说明,样本相关矩阵是经过缩放的格拉姆矩阵,因此具有半正定性。它的秩满足

rank⁡(R^)≤min⁡(p,n−1).\operatorname{rank}(\widehat{R})\leq \min(p,n-1).

因此,在所有纳入的列都具有正样本方差的前提下,若 p≥np\geq n,通常的样本相关矩阵必然是奇异的。

观测值缺失

当观测值存在缺失时,相关系数的计算方式会影响所得矩阵:

  • 完整案例计算对每一对变量使用同一组观测。若保留的所有变量的方差都为正,则所得的普通样本相关矩阵是半正定的。
  • 成对完整观测计算对每一对变量分别使用所有可用观测。这样可能为单个元素保留更多数据,但由于各元素可能来自不同的观测子集,最终组成的矩阵未必是半正定的。
  • 基于模型的估计或插补可以得到内部一致的联合估计,但其有效性取决于所用方法及有关缺失机制的假设。缺失数据插补也会影响估计不确定性的评估方式。

解释与几何意义

正的矩阵元素表示,从线性关系来看,一个变量取值较大时,另一个变量往往也取值较大。负的矩阵元素表示相反的线性趋势。接近零的元素表示线性关联较弱,但不一定意味着不存在其他关系。

相关系数是无量纲的。给变量加上常数,或乘以正常数,都不会改变它与其他变量的相关系数。将变量乘以负常数,则会使其对应的非对角相关系数反号。

例如,

R=(10.8−0.20.81−0.1−0.2−0.11)R= \begin{pmatrix} 1&0.8&-0.2\\ 0.8&1&-0.1\\ -0.2&-0.1&1 \end{pmatrix}

表示前两个变量之间有较强的正线性关联,而第三个变量与它们之间的负线性关联较弱。

相关系数也具有几何解释。将每个观测变量中心化,再将其观测向量缩放至欧几里得长度为一,则两个变量之间的相关系数就是对应向量的内积,也就是它们的余弦相似度。因此:

  • 相关系数为 11 对应方向相同;
  • 相关系数为 −1-1 对应方向相反;
  • 相关系数为 00 对应方向正交。

对于这些单位向量 ui,uju_i,u_j,有

∥ui−uj∥2=2(1−rij).\|u_i-u_j\|^2=2(1-r_{ij}).

这一恒等式将相关系数与某些聚类分析方法所用的距离联系起来。

其他类型的相关矩阵

“相关矩阵”也可以指使用皮尔逊相关系数以外的关联度量构造的矩阵。因此,在需要避免歧义时,应明确说明所用的度量。

基于秩的矩阵

斯皮尔曼相关矩阵由各变量秩之间的皮尔逊相关系数组成。它概括的是单调关系,而非严格的线性关系,并降低了结果对极端观测值具体数值大小的敏感性。当所有列都基于同一份完整数据集计算秩时,其半正定性可由普通样本相关矩阵的构造方式得出。

肯德尔相关矩阵由基于一致观测对和不一致观测对计算的系数组成。肯德尔系数的含义与皮尔逊系数不同,对并列值的不同处理方式也会产生不同的变体。

秩相关系数不能与皮尔逊相关系数互换使用。它们不一定代表原始数值测量结果之间的线性相关性。

偏相关矩阵

偏相关系数衡量的是去除指定的其他变量的线性影响后,两个变量之间的线性关联。若 RR 为正定矩阵,且

Ω=R−1,\Omega=R^{-1},

则控制其余所有变量后,变量 ii 与 jj 之间的偏相关系数为

ρij⋅others=−ΩijΩiiΩjj.\rho_{ij\cdot\text{others}} = -\frac{\Omega_{ij}} {\sqrt{\Omega_{ii}\Omega_{jj}}}.

这里,R−1R^{-1} 是逆矩阵。将对角元设为一的偏相关系数表,虽然常被称为偏相关矩阵,但通常并不保证具有半正定性。

对于非奇异的多元正态分布,Ω\Omega 的某个非对角元为零,意味着给定其余所有变量后,对应的两个变量条件独立。在这一情形之外,偏相关系数为零通常只能说明相应的残差之间不存在线性关联。

应用

多元探索

相关矩阵能够紧凑地展示变量间两两的关联。热力图通常用颜色表示相关系数,并通过重新排列变量来显现相关测量指标的分组。这种排序只改变呈现方式,不改变相关系数本身。

主成分分析

主成分分析既可以基于协方差矩阵,也可以基于相关矩阵。使用相关矩阵,等价于先将每个变量标准化为单位方差,再进行基于协方差的主成分分析。

这样可以在分解之前使各变量具有相同的方差,在变量的计量单位差异较大时可能很有用。但它也会消除原有的方差差异,包括那些可能具有科学意义的差异。

回归

在线性回归中,预测变量的相关矩阵描述了它们之间两两的线性关系。即使没有任何一对变量的相关系数特别高,较小的特征值仍可能揭示涉及多个预测变量的近似线性依赖关系。

对于含截距项的普通最小二乘回归,若预测变量和响应变量均已标准化,且预测变量矩阵满秩,则标准化回归系数向量满足

β^=R^XX−1r^Xy,\widehat{\beta}=\widehat{R}_{XX}^{-1}\widehat{r}_{Xy},

其中,R^XX\widehat{R}_{XX} 是预测变量的相关矩阵,r^Xy\widehat{r}_{Xy} 包含各预测变量与响应变量之间的相关系数。

模拟与协方差构造

若已知各边缘标准差,则可以通过相关矩阵确定相应的协方差矩阵:

Σ=DRD.\Sigma=DRD.

对于正定的 RR,可以利用Cholesky分解 R=LLTR=LL^{\mathsf T} 生成相关的正态变量:若 UU 的各分量是相互独立的标准正态变量,则 LULU 的协方差矩阵和相关矩阵均为 RR。奇异矩阵则需要采用允许存在零特征值的分解方法。

估计与数值问题

样本相关系数是估计值,而不是精确的总体参数。其精度取决于样本量、背后的分布、观测之间的依赖关系以及抽样设计。皮尔逊相关系数可能受到异常值的强烈影响。

当变量数量相对于观测数量较多时,样本矩阵可能是奇异的,或处于病态。此时,其逆矩阵可能不存在,或对数据的微小变化高度敏感。正则化方法可以提高估计的稳定性。一个简单的例子是向单位矩阵收缩:

R^λ=(1−λ)R^+λI,0≤λ≤1.\widehat{R}_{\lambda} = (1-\lambda)\widehat{R}+\lambda I, \qquad 0\leq\lambda\leq1.

若 R^\widehat{R} 是半正定的,这一操作会保持对角元为一,并在 λ>0\lambda>0 时得到正定矩阵。它将估计的非对角相关系数向零收缩,同时也会引入偏差。

舍入、成对删除或分别估计各相关系数,都可能产生带有负特征值的矩阵。寻找邻近有效相关矩阵的方法会施加半正定和对角元为一的约束。最终得到的元素值取决于所选的距离准则和约束条件;修复数学上的有效性,并不能证明调整后的数值在统计上得到了良好的估计。

局限性

相关矩阵只刻画选定的两两关系,通常不能确定完整的联合概率分布。

具体而言:

  • 皮尔逊相关系数为零并不意味着统计独立性。不过,对于联合正态变量,对角相关矩阵确实意味着各变量相互独立。
  • 很强的非线性依赖关系可以与零皮尔逊相关并存。
  • 两两相关系数可能掩盖子群模式、时间结构或高阶关系。
  • 在给定条件、汇总数据或筛选观测后,相关系数可能发生变化。
  • 关联矩阵本身不能确立因果关系;因果解释需要额外的假设或证据。
  • 当对各个相关系数进行显著性检验时,考察大量矩阵元素会引入多重检验问题。