相关矩阵是一种方形矩阵,其元素为各对变量之间的相关系数。通常,相关矩阵包含的是皮尔逊相关系数,用于衡量消除尺度差异后的线性关联。相关矩阵是统计学中的基本工具:它既能概括多个变量之间的关系,也为回归、降维和多元建模等方法提供支持。
定义
设 为方差有限且严格大于零的实值随机变量。它们的总体相关矩阵是一个 矩阵 ,其元素为
若 是这些变量的协方差矩阵,且
则
等价地,定义标准化变量
其中, 表示期望值。原变量的相关矩阵就是这些标准化变量的协方差矩阵:
方差为零的变量与任何变量(包括自身)的皮尔逊相关系数都没有定义,因为计算公式需要除以该变量的标准差。二阶矩不有限的变量也不适用这一定义。
数学性质
所有总体皮尔逊相关矩阵都具有以下性质:
- 对称性:。
- 对角元为一:。
- 元素有界:。
- **半正定性:**对任意实向量 ,都有 。
各元素的取值界限可由柯西—施瓦茨不等式得出。半正定性则源于
因此,相关矩阵的所有特征值均为非负数。由于对角元全为一,所有特征值之和为 。
相关矩阵是正定矩阵,当且仅当标准化变量的任何非零系数线性组合的方差都不为零。否则,该矩阵是奇异矩阵:中心化后的变量之间存在某种精确的线性关系。
两两相关系数的相容性
对称、对角元为一且各元素介于 与 之间,并不足以保证一个任意数组是有效的相关矩阵。各相关系数还必须彼此相容。
对于三个变量,记
除了 之外,有效性还要求
其中, 是行列式。例如,两个相关系数为 、第三个相关系数为 的情况,不可能出现在这样的矩阵中。
反过来,每一个对角元为一的实对称半正定矩阵,都是某个随机向量的相关矩阵。一种构造方法是采用以该矩阵为协方差矩阵的多元正态分布,该分布可能是退化的。这一存在性结论并不意味着,任意指定的边缘分布都能实现每一个这样的矩阵。
样本相关矩阵
对于 个变量的 次观测,设 为变量 的第 个观测值。通常的样本皮尔逊相关系数为
其中, 为样本均值。
将数据矩阵的每一列中心化,再除以按分母 计算的相应样本标准差,得到 数据矩阵 。则
协方差计算中的共同归一化因子会在每个相关系数中约去,因此,只要在协方差和方差计算中统一使用分母 ,得到的相关矩阵也相同。
这一表示说明,样本相关矩阵是经过缩放的格拉姆矩阵,因此具有半正定性。它的秩满足
因此,在所有纳入的列都具有正样本方差的前提下,若 ,通常的样本相关矩阵必然是奇异的。
观测值缺失
当观测值存在缺失时,相关系数的计算方式会影响所得矩阵:
- 完整案例计算对每一对变量使用同一组观测。若保留的所有变量的方差都为正,则所得的普通样本相关矩阵是半正定的。
- 成对完整观测计算对每一对变量分别使用所有可用观测。这样可能为单个元素保留更多数据,但由于各元素可能来自不同的观测子集,最终组成的矩阵未必是半正定的。
- 基于模型的估计或插补可以得到内部一致的联合估计,但其有效性取决于所用方法及有关缺失机制的假设。缺失数据插补也会影响估计不确定性的评估方式。
解释与几何意义
正的矩阵元素表示,从线性关系来看,一个变量取值较大时,另一个变量往往也取值较大。负的矩阵元素表示相反的线性趋势。接近零的元素表示线性关联较弱,但不一定意味着不存在其他关系。
相关系数是无量纲的。给变量加上常数,或乘以正常数,都不会改变它与其他变量的相关系数。将变量乘以负常数,则会使其对应的非对角相关系数反号。
例如,
表示前两个变量之间有较强的正线性关联,而第三个变量与它们之间的负线性关联较弱。
相关系数也具有几何解释。将每个观测变量中心化,再将其观测向量缩放至欧几里得长度为一,则两个变量之间的相关系数就是对应向量的内积,也就是它们的余弦相似度。因此:
- 相关系数为 对应方向相同;
- 相关系数为 对应方向相反;
- 相关系数为 对应方向正交。
对于这些单位向量 ,有
这一恒等式将相关系数与某些聚类分析方法所用的距离联系起来。
其他类型的相关矩阵
“相关矩阵”也可以指使用皮尔逊相关系数以外的关联度量构造的矩阵。因此,在需要避免歧义时,应明确说明所用的度量。
基于秩的矩阵
斯皮尔曼相关矩阵由各变量秩之间的皮尔逊相关系数组成。它概括的是单调关系,而非严格的线性关系,并降低了结果对极端观测值具体数值大小的敏感性。当所有列都基于同一份完整数据集计算秩时,其半正定性可由普通样本相关矩阵的构造方式得出。
肯德尔相关矩阵由基于一致观测对和不一致观测对计算的系数组成。肯德尔系数的含义与皮尔逊系数不同,对并列值的不同处理方式也会产生不同的变体。
秩相关系数不能与皮尔逊相关系数互换使用。它们不一定代表原始数值测量结果之间的线性相关性。
偏相关矩阵
偏相关系数衡量的是去除指定的其他变量的线性影响后,两个变量之间的线性关联。若 为正定矩阵,且
则控制其余所有变量后,变量 与 之间的偏相关系数为
这里, 是逆矩阵。将对角元设为一的偏相关系数表,虽然常被称为偏相关矩阵,但通常并不保证具有半正定性。
对于非奇异的多元正态分布, 的某个非对角元为零,意味着给定其余所有变量后,对应的两个变量条件独立。在这一情形之外,偏相关系数为零通常只能说明相应的残差之间不存在线性关联。
应用
多元探索
相关矩阵能够紧凑地展示变量间两两的关联。热力图通常用颜色表示相关系数,并通过重新排列变量来显现相关测量指标的分组。这种排序只改变呈现方式,不改变相关系数本身。
主成分分析
主成分分析既可以基于协方差矩阵,也可以基于相关矩阵。使用相关矩阵,等价于先将每个变量标准化为单位方差,再进行基于协方差的主成分分析。
这样可以在分解之前使各变量具有相同的方差,在变量的计量单位差异较大时可能很有用。但它也会消除原有的方差差异,包括那些可能具有科学意义的差异。
回归
在线性回归中,预测变量的相关矩阵描述了它们之间两两的线性关系。即使没有任何一对变量的相关系数特别高,较小的特征值仍可能揭示涉及多个预测变量的近似线性依赖关系。
对于含截距项的普通最小二乘回归,若预测变量和响应变量均已标准化,且预测变量矩阵满秩,则标准化回归系数向量满足
其中, 是预测变量的相关矩阵, 包含各预测变量与响应变量之间的相关系数。
模拟与协方差构造
若已知各边缘标准差,则可以通过相关矩阵确定相应的协方差矩阵:
对于正定的 ,可以利用Cholesky分解 生成相关的正态变量:若 的各分量是相互独立的标准正态变量,则 的协方差矩阵和相关矩阵均为 。奇异矩阵则需要采用允许存在零特征值的分解方法。
估计与数值问题
样本相关系数是估计值,而不是精确的总体参数。其精度取决于样本量、背后的分布、观测之间的依赖关系以及抽样设计。皮尔逊相关系数可能受到异常值的强烈影响。
当变量数量相对于观测数量较多时,样本矩阵可能是奇异的,或处于病态。此时,其逆矩阵可能不存在,或对数据的微小变化高度敏感。正则化方法可以提高估计的稳定性。一个简单的例子是向单位矩阵收缩:
若 是半正定的,这一操作会保持对角元为一,并在 时得到正定矩阵。它将估计的非对角相关系数向零收缩,同时也会引入偏差。
舍入、成对删除或分别估计各相关系数,都可能产生带有负特征值的矩阵。寻找邻近有效相关矩阵的方法会施加半正定和对角元为一的约束。最终得到的元素值取决于所选的距离准则和约束条件;修复数学上的有效性,并不能证明调整后的数值在统计上得到了良好的估计。
局限性
相关矩阵只刻画选定的两两关系,通常不能确定完整的联合概率分布。
具体而言: