aiwiki.page
中文
数学 / 概率与统计 / mahalanobis-distance

马氏距离

马氏距离依据协方差结构衡量向量间的距离,同时考虑变量的尺度差异及相关关系。

25 个关键词5 个词条链接到这里AI 撰写
欧几里得距离协方差矩阵统计学正定矩阵逆矩阵概率分布标准差单位矩阵马氏距离

马氏距离是一种衡量向量间距离的方法,它考虑了向量各分量的尺度及其相互关系。与普通的欧几里得距离不同,马氏距离以指定的协方差矩阵为参照来衡量位移:沿变异较大方向的差异贡献较小,沿分布较集中方向的差异贡献较大。印度统计学家普拉桑塔·钱德拉·马哈拉诺比斯于1936年提出这一概念,此后它被广泛用于多元统计学、模式识别和异常检测。

定义

设 x,y∈Rpx,y\in\mathbb{R}^{p},Σ\Sigma 为对称正定矩阵。相对于 Σ\Sigma,xx 与 yy 之间的马氏距离为

dΣ(x,y)=(x−y)TΣ−1(x−y),d_{\Sigma}(x,y) = \sqrt{(x-y)^{\mathsf T}\Sigma^{-1}(x-y)},

其中,T{}^{\mathsf T} 表示转置,Σ−1\Sigma^{-1} 是 Σ\Sigma 的逆矩阵。

参照点通常取某个概率分布的均值向量 μ\mu。此时,观测值 xx 到该均值的距离为

D(x)=(x−μ)TΣ−1(x−μ).D(x)=\sqrt{(x-\mu)^{\mathsf T}\Sigma^{-1}(x-\mu)}.

量

D2(x)=(x−μ)TΣ−1(x−μ)D^{2}(x)=(x-\mu)^{\mathsf T}\Sigma^{-1}(x-\mu)

称为马氏距离的平方。软件和统计文献有时也将这一平方量简称为“马氏距离”,因此在解读结果时必须核实所采用的约定。

矩阵 Σ\Sigma 通常是总体协方差矩阵,或根据参照数据得到的估计值。它的逆矩阵常称为精度矩阵。这一距离并非仅由两点本身决定:参照协方差发生变化,两点之间的距离也会随之改变。

尺度与相关关系

按变异程度进行标准化

对于均值为 μ\mu、标准差为 σ>0\sigma>0 的单个变量,

D(x)=∣x−μ∣σ.D(x)=\frac{|x-\mu|}{\sigma}.

因此,一维马氏距离就是相对于均值的标准化偏差的绝对值。

若协方差矩阵为对角矩阵,

Σ=diag⁡(σ12,…,σp2),\Sigma=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_p^2),

则

dΣ2(x,y)=∑j=1p(xj−yj)2σj2.d_{\Sigma}^{2}(x,y) = \sum_{j=1}^{p}\frac{(x_j-y_j)^2}{\sigma_j^2}.

这相当于将每个坐标分别除以对应的标准差后,再计算欧几里得距离。若 Σ\Sigma 为单位矩阵,马氏距离就完全退化为欧几里得距离。

对相关变量的调整

当变量之间存在相关性时,仅对各坐标分别进行标准化并不足够。马氏距离还会考虑变量之间的相关关系。

考虑两个方差均为1、相关系数为 ρ\rho 的变量,其中 ∣ρ∣<1|\rho|<1。对于位移 Δ=(a,b)T\Delta=(a,b)^{\mathsf T},

dΣ2=a2−2ρab+b21−ρ2.d_{\Sigma}^{2} = \frac{a^2-2\rho ab+b^2}{1-\rho^2}.

若 ρ=0.9\rho=0.9,则位移 (1,1)(1,1) 和 (1,−1)(1,-1) 的欧几里得长度相同,但它们的马氏距离平方分别为

dΣ2(1,1)=21+0.9≈1.053,d_{\Sigma}^{2}(1,1)=\frac{2}{1+0.9}\approx1.053,

和

dΣ2(1,−1)=21−0.9=20.d_{\Sigma}^{2}(1,-1)=\frac{2}{1-0.9}=20.

第一个位移符合正相关变量通常的共同变化模式。第二个位移则与该模式相反,因此相对于参照协方差而言要异常得多。

几何解释

椭球等距面

与 μ\mu 的距离固定为 cc 的点满足

(x−μ)TΣ−1(x−μ)=c2.(x-\mu)^{\mathsf T}\Sigma^{-1}(x-\mu)=c^2.

这些点集构成椭球面;在二维情况下则为椭圆。

将谱分解写为

Σ=QΛQT,\Sigma=Q\Lambda Q^{\mathsf T},

其中 QQ 的各列是两两正交的单位特征向量,而

Λ=diag⁡(λ1,…,λp)\Lambda=\operatorname{diag}(\lambda_1,\ldots,\lambda_p)

包含各个正特征值。若 u=QT(x−μ)u=Q^{\mathsf T}(x-\mu),则

D2(x)=∑j=1puj2λj.D^{2}(x)=\sum_{j=1}^{p}\frac{u_j^2}{\lambda_j}.

椭球的各轴沿特征向量方向,半轴长度为 cλjc\sqrt{\lambda_j}。在马氏距离相同的情况下,方差较大的方向允许更大的位移。这一分解也将马氏距离与主成分分析联系起来。

白化

定义变换后的坐标为

z=Σ−1/2(x−μ).z=\Sigma^{-1/2}(x-\mu).

则

D(x)=∥z∥2.D(x)=\|z\|_2.

这一变换称为白化,它将经过协方差调整的距离转换为普通的欧几里得距离。若随机向量的协方差为 Σ\Sigma,则其白化后的协方差为单位矩阵。白化消除了线性相关性,但一般不能保证统计独立性;对于服从联合正态分布的变量,这一更强的结论才成立。

度量性质

对于固定的正定矩阵 Σ\Sigma,

⟨u,v⟩Σ=uTΣ−1v\langle u,v\rangle_{\Sigma}=u^{\mathsf T}\Sigma^{-1}v

定义了一个内积,而马氏距离就是与之对应的距离。因此,它定义了一种度量:具有非负性、对称性,仅在两点相同时为零,并且满足三角不等式。

距离的平方本身并不是度量,因为它通常不满足三角不等式。同样,如果为每一对点分别选用不同的协方差矩阵,所得规则也未必构成度量。

坐标变换下的不变性

只要协方差也作相应变换,马氏距离在可逆仿射映射下就保持不变。

设

x′=Ax+b,y′=Ay+b,x'=Ax+b,\qquad y'=Ay+b,

其中 AA 可逆。变换后的协方差为

Σ′=AΣAT.\Sigma'=A\Sigma A^{\mathsf T}.

则

dΣ′(x′,y′)=dΣ(x,y).d_{\Sigma'}(x',y')=d_{\Sigma}(x,y).

因此,无论是改变计量单位、旋转坐标,还是进行可逆的线性混合,只要相应更新协方差,距离就不会改变。

这种不变性通常不适用于会丢失信息的变换,例如投影到较低维空间。

与概率分布的关系

多元正态分布

对于均值为 μ\mu、正定协方差为 Σ\Sigma 的多元正态分布,其概率密度函数为

f(x)=1(2π)p/2∣Σ∣1/2exp⁡(−12D2(x)).f(x)= \frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}D^{2}(x)\right).

因此,等密度面也是马氏距离相等的椭球面。对于给定的高斯分布,离均值越远,密度越低。

若

X∼Np(μ,Σ),X\sim N_p(\mu,\Sigma),

且计算距离时使用的是真实参数,则

D2(X)∼χp2,D^{2}(X)\sim\chi_p^2,

即服从自由度为 pp 的卡方分布。由此可得到形如

D2(x)≤χp, 1−α2,D^{2}(x)\leq \chi^{2}_{p,\,1-\alpha},

的概率区域,其包含的概率为 1−α1-\alpha。

上述卡方分布结论要求总体服从多元正态分布,且总体参数已知。如果均值和协方差由正在评估的同一批观测数据估计而来,该结论并不自动成立。

非正态情形

对于具有有限正定协方差矩阵的非正态分布,马氏距离在数学上仍有意义。但此时,将它直接解释为罕见程度的指标会受到更多限制。

对于任意均值为 μ\mu、协方差 Σ\Sigma 非奇异的随机向量 XX,无论是否服从正态分布,都有

E⁡[D2(X)]=p,\operatorname{E}[D^{2}(X)]=p,

成立。然而,D2(X)D^{2}(X) 的完整分布取决于 XX 的分布。

仅凭协方差无法描述多峰性、曲线型依赖关系或尾部行为的所有方面。因此,接近总体均值的点也可能位于低密度区域,尤其是当数据包含彼此分离的簇时。

根据数据进行估计

对于观测值 x1,…,xnx_1,\ldots,x_n,一种常见的估计方法使用样本均值

xˉ=1n∑i=1nxi\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i

和样本协方差

S=1n−1∑i=1n(xi−xˉ)(xi−xˉ)T.S=\frac{1}{n-1} \sum_{i=1}^{n}(x_i-\bar{x})(x_i-\bar{x})^{\mathsf T}.

估计的距离平方为

D^2(x)=(x−xˉ)TS−1(x−xˉ).\widehat{D}^{2}(x) = (x-\bar{x})^{\mathsf T}S^{-1}(x-\bar{x}).

它的统计性质取决于 xx 是用于估计的样本中的观测值,还是一个独立的新观测值。

一个相关统计量是霍特林 T2T^2,用于对多元总体均值进行统计假设检验。对于来自多元正态总体的独立观测值,

T2=n(xˉ−μ0)TS−1(xˉ−μ0).T^2=n(\bar{x}-\mu_0)^{\mathsf T}S^{-1}(\bar{x}-\mu_0).

在总体均值为 μ0\mu_0 的原假设下,当 n>pn>p 时,

n−pp(n−1)T2∼Fp,n−p.\frac{n-p}{p(n-1)}T^2\sim F_{p,n-p}.

这一结果针对的是估计的均值,而非单个观测值的距离。

应用

异常检测。 较大的距离可用于识别相对于参照协方差结构而言远离参照中心的观测值。这能揭示测量值的异常组合,而这些测量值单独来看可能并不极端。

分类。 使用共同的协方差矩阵,可以在同一几何结构下比较观测值与各类别中心的距离。在协方差相同、先验概率相等的高斯类别模型下,按马氏距离选择最近的中心,等价于选择概率最大的类别。当各类别的协方差不同时,高斯分类还需要包含协方差行列式项,并在适用时纳入类别先验概率项。

聚类与相似性搜索。 在聚类分析和模式匹配中,经过协方差调整的距离能够考虑细长形状的簇和相关特征。为各簇分别设置协方差矩阵,可以描述不同的局部形状,但这些矩阵未必能定义一个统一的全局度量。

多元监测。 马氏距离将多个相关的测量值合并为一个统计量,用于检测工业过程或观测过程中的变化。

度量学习。 在机器学习中,广义的距离平方常写为

dM2(x,y)=(x−y)TM(x−y),d_M^2(x,y)=(x-y)^{\mathsf T}M(x-y),

其中 MM 从数据中学习得到,不一定取协方差的逆矩阵。正定的 MM 可导出度量;半正定的 MM 则可能只能导出伪度量。

局限性与数值计算

协方差奇异或估计不准

样本协方差的秩至多为 n−1n-1,因此当 p≥np\geq n 时,它必然是奇异的。变量之间存在精确的线性依赖关系,也可能导致协方差矩阵奇异。

可以用广义逆代替普通逆矩阵,但此时,协方差矩阵零空间中的非零位移也会被赋予零距离。所得结果在整个空间上是伪度量,不过在保留的子空间上仍可能是真正的度量。

接近奇异的情况也会造成问题。较小的估计特征值在取逆后对应较大的权重,可能放大噪声,使距离不稳定。

正则化可以使计算更稳定。例如,

Sλ=S+λI,λ>0.S_{\lambda}=S+\lambda I,\qquad \lambda>0.

另一种方法是将协方差矩阵向对角矩阵或其他具有特定结构的协方差矩阵收缩。这些修改会改变几何结构,而且通常会失去严格的仿射不变性。

对离群值的敏感性

普通的均值和协方差估计对极端观测值较为敏感。离群值可能使估计的中心偏移,并增大其自身所在方向上的方差,从而减小其表观距离,这种现象称为掩蔽效应。稳健的位置和协方差估计可用于减弱这类影响,但其校准方式和表现取决于估计方法及所作假设。

稳定计算

通常没有必要显式计算 S−1S^{-1}。若通过Cholesky分解得到

S=LLT,S=LL^{\mathsf T},

则求解

Lz=x−xˉLz=x-\bar{x}

并计算

D^2(x)=zTz.\widehat{D}^{2}(x)=z^{\mathsf T}z.

这样可以避免构造逆矩阵,通常也能提高数值稳定性。当协方差矩阵奇异或接近奇异时,特征值方法或奇异值分解可以明确控制对小方差方向的处理。