aiwiki.page
中文
数学 / 概率与统计 / kendall-rank-correlation

肯德尔秩相关

肯德尔秩相关通过比较一致观测对与不一致观测对的数量来衡量有序关联,其不同变体可处理并列秩。

20 个关键词2 个词条链接到这里3 个尚未撰写AI 撰写
相关性二项式系数联合概率分布期望值单调函数统计独立性因果关系统计假设检验肯德尔秩相…

肯德尔秩相关通过判断观测对的相对次序相同还是相反,来衡量两个有序变量之间的相关关系。它通常用希腊字母 τ\tau 表示,衡量的是一致对与不一致对之间的数量差异,而非观测值之间的数值距离。这一指标由莫里斯·肯德尔于1938年提出,广泛用于有序数据、排序比较,以及具有单调性但不一定呈线性的关系。它有若干变体,区别在于如何处理并列值。

一致对与不一致对

考虑 nn 个成对观测,

(x1,y1),…,(xn,yn).(x_1,y_1),\ldots,(x_n,y_n).

对于任意两个不同的观测 i<ji<j:

  • 若 (xi−xj)(yi−yj)>0(x_i-x_j)(y_i-y_j)>0,则称这一对观测为一致对:xx 值较大的观测,其 yy 值也较大。
  • 若 (xi−xj)(yi−yj)<0(x_i-x_j)(y_i-y_j)<0,则称这一对观测为不一致对:xx 值较大的观测,其 yy 值反而较小。
  • 若某个变量的对应值相等,则称这一对观测在该变量上并列;两个变量上也可能同时并列。

令 CC 为一致对的数量,DD 为不一致对的数量。无序观测对的总数为二项式系数

N=(n2)=n(n−1)2.N=\binom n2=\frac{n(n-1)}2.

基本的分子为

S=C−D=∑i<jsgn⁡(xi−xj)sgn⁡(yi−yj),S=C-D =\sum_{i<j} \operatorname{sgn}(x_i-x_j) \operatorname{sgn}(y_i-y_j),

其中,sgn⁡(u)\operatorname{sgn}(u) 根据 uu 为正、为零或为负,分别取 11、00 或 −1-1。

没有并列值时,C+D=NC+D=N。排序完全一致时,系数为 11;排序完全相反时,系数为 −1-1。

示例

假设四个对象的排名如下:

对象 排名 XX 排名 YY
A 1 1
B 2 3
C 3 2
D 4 4

共有六对观测。只有 B–C 这一对不一致,因此 C=5C=5,D=1D=1。由于没有并列值,

τ=5−16=23.\tau=\frac{5-1}{6}=\frac23.

这表明一致对的数量明显多于不一致对,并不意味着三分之二的对象具有相同的排名。

主要变体

Tau-a

最简单的归一化形式为

τa=C−DN.\tau_a=\frac{C-D}{N}.

存在并列值时,并列对对分子的贡献为零,但仍计入分母。因此,即使所有可比较的观测对都没有次序上的分歧,并列值仍可能使 τa\tau_a 无法达到 11 或 −1-1。

当两个排序都完整且没有并列,或所要衡量的是一致概率与不一致概率的无条件差值时,采用 tau-a 尤为自然。

Tau-b

Tau-b 对分母进行调整,以处理并列值:

τb=C−D(N−Tx)(N−Ty),\tau_b= \frac{C-D}{\sqrt{(N-T_x)(N-T_y)}},

其中,TxT_x 是在 XX 上并列的观测对数量,包括同时在 YY 上并列的观测对;TyT_y 的定义与之类似。

如果 XX 中各并列组的大小为 t1,t2,…t_1,t_2,\ldots,则

Tx=∑g(tg2),T_x=\sum_g \binom{t_g}{2},

TyT_y 也有类似的表达式。

一个等价公式为

τb=C−D(C+D+Ux)(C+D+Uy),\tau_b= \frac{C-D} {\sqrt{(C+D+U_x)(C+D+U_y)}},

其中,UxU_x 是仅在 XX 上并列的观测对数量,UyU_y 是仅在 YY 上并列的观测对数量。同时在两个变量上并列的观测对不计入分母的任何一个因子。

在有定义的情况下,tau-b 的取值介于 −1-1 和 11 之间。如果任一变量为常量,分母便为零,此时 tau-b 无定义。尽管它对并列值作了校正,但当两个变量的并列模式具有特定的不相容结构时,其可达到的取值范围仍可能小于 [−1,1][-1,1]。

Tau-c

Tau-c 也称为 Stuart–Kendall tau-c,常用于有序列联表,尤其是行类别数与列类别数不同的表。其定义为

τc=2m(C−D)n2(m−1),\tau_c=\frac{2m(C-D)}{n^2(m-1)},

其中,mm 是两个变量实际观测到的不同类别数中的较小值,且 m>1m>1。

它根据列联表的维度进行归一化,而不是采用 tau-b 的并列校正方式。Tau-c 与 tau-b 不能互换使用:当类别数或类别频数不同时,两者可能相差很大。没有并列值时,tau-c 通常也不等同于 tau-a;在这种情况下,m=nm=n,两个公式一致。

总体层面的解释

设 (X,Y)(X,Y) 和 (X′,Y′)(X',Y') 是来自同一联合概率分布的独立观测。Tau-a 对应的总体参数为

τ=E ⁣[sgn⁡(X−X′)sgn⁡(Y−Y′)],\tau= \mathbb{E}\!\left[ \operatorname{sgn}(X-X') \operatorname{sgn}(Y-Y') \right],

其中,E\mathbb{E} 表示期望值。等价地,

τ=Pr⁡((X−X′)(Y−Y′)>0)−Pr⁡((X−X′)(Y−Y′)<0).\tau= \Pr\bigl((X-X')(Y-Y')>0\bigr) - \Pr\bigl((X-X')(Y-Y')<0\bigr).

当边缘分布连续时,并列的概率为零。因此,

Pr⁡(concordance)=1+τ2.\Pr(\text{concordance})=\frac{1+\tau}{2}.

例如,在不存在并列的假设下,总体值 τ=0.6\tau=0.6 意味着独立抽取的两个观测构成一致对的概率为 0.80.8。

样本 tau-a 是一种U统计量:它是在所有无序观测对上对某个固定函数取平均。对于独立同分布的观测,它是这一总体参数的无偏估计量。

对于离散变量,与 tau-b 对应的总体版本为

τb=E[sgn⁡(X−X′)sgn⁡(Y−Y′)]Pr⁡(X≠X′)Pr⁡(Y≠Y′),\tau_b= \frac{ \mathbb{E}[ \operatorname{sgn}(X-X') \operatorname{sgn}(Y-Y')] }{ \sqrt{\Pr(X\ne X')\Pr(Y\ne Y')} },

前提是分母中的两个概率均为正。

性质与解释

保序变换下的不变性

肯德尔相关取决于次序,而不取决于数值间距。对任一变量单独施加严格递增的单调函数变换,系数保持不变。对一个变量施加严格递减变换,系数的符号会反转;对两个变量都施加递减变换,系数则保持不变。

非严格单调的变换可能产生并列值,从而改变结果。

这种不变性使肯德尔相关适用于有序尺度:在这类尺度中,类别的次序有意义,但数值差异不一定有意义。

关联不等于独立

在系数有定义的情况下,统计独立性意味着总体肯德尔相关为零,但肯德尔相关为零通常并不意味着独立。

例如,设 XX 服从关于零对称的连续分布,且 Y=X2Y=X^2。这两个变量相互依赖,但对称性使一致对与不一致对相互平衡,从而使总体 tau 为零。因此,肯德尔相关衡量的是某一种有序关联,而不是所有可能的依赖关系。

同样,仅有秩关联也不能确立因果关系。

对极端观测值的敏感性

把一个已经很极端的观测值在数值上进一步增大,只要其相对次序不变,就不会改变系数。因此,与基于矩的度量相比,肯德尔相关对数值大小不那么敏感。

但它并非不受异常观测或污染观测的影响:单个观测参与 n−1n-1 个观测对,改变它的位置可能改变所有这些成对比较的结果。

统计推断

肯德尔相关常用于关联性的统计假设检验。

精确检验

在独立性原假设下,若满足适当的可交换性条件,可以将一个变量相对于另一个变量进行置换,从而得到统计量的零分布。没有并列值时,在原假设下,一个排序相对于另一个排序的所有排列都具有相同的可能性。

对于小样本,可以通过枚举或专门算法精确计算相应的P值。条件置换程序也能处理并列值,不过,不同软件对含并列数据的精确计算支持程度有所不同。

大样本近似

对于边缘分布连续的独立观测,在两个变量相互独立的情况下,

E(S)=0,Var⁡(S)=n(n−1)(2n+5)18.\mathbb{E}(S)=0, \qquad \operatorname{Var}(S)= \frac{n(n-1)(2n+5)}{18}.

因此,

Var⁡(τa)=2(2n+5)9n(n−1).\operatorname{Var}(\tau_a) = \frac{2(2n+5)}{9n(n-1)}.

当样本量足够大时,

Z=SVar⁡(S)Z= \frac{S}{\sqrt{\operatorname{Var}(S)}}

在原假设下近似服从标准正态分布。某些实现会采用连续性校正。

存在并列值时,需要对方差作相应校正;使用无并列情况下的公式可能导致错误的显著性水平。此外,上述零假设下的方差,并不是适用于 XX 与 YY 之间任意依赖关系的估计问题的通用方差公式。

可以利用适当的渐近标准误或自助采样程序构造置信区间。对成对观测进行普通重采样,前提是各抽样单位相互独立。对于聚类数据或存在序列依赖的数据,需要采用能够保留这种依赖结构的方法。

检验独立性,也不同于仅检验总体 tau 是否等于零:tau 为零仍允许某些存在依赖的分布,因此,基于独立性的置换检验并不会自动成为对这一更广泛复合假设的检验。

与其他度量的关系

皮尔逊相关与斯皮尔曼相关

皮尔逊相关系数利用数值相对于均值的偏差来衡量线性关联。肯德尔系数则衡量成对次序的一致程度,并不要求数值之间的距离具有实际意义。

斯皮尔曼秩相关是对秩应用皮尔逊相关,通常为并列值赋予平均秩。它通过秩值评估关联,而不是直接计算一致对与不一致对的数量。

这些系数的数值尺度不同。大小相同的肯德尔系数与斯皮尔曼系数,并不一定代表相同的关联强度。

对于皮尔逊相关为 ρ\rho 的非退化二元正态分布,

τ=2πarcsin⁡(ρ).\tau=\frac{2}{\pi}\arcsin(\rho).

这一恒等式依赖于特定的分布条件,并非普适的换算公式。

肯德尔距离

对于两个没有并列的完整排序,肯德尔距离就是不一致对的数量 DD。相关系数与距离满足

τ=1−2DN=1−4Dn(n−1).\tau=1-\frac{2D}{N} =1-\frac{4D}{n(n-1)}.

因此,相关系数描述一致程度,而相应的距离则统计成对次序不一致的数量。若要推广到不完整排序和存在并列的情况,则需要额外的约定。

计算与应用

直接比较所有观测对需要 O(n2)O(n^2) 次操作。先按一个变量对观测排序,再计算另一个变量中的逆序数,可以得到 O(nlog⁡n)O(n\log n) 的算法,同时需要额外记录并列值的相关信息。这些复杂度界限使用大O记号表示。

常见应用包括:

  • **有序测量:**评估有序类别之间的关联,而不假设类别间距相等。
  • **排序比较:**比较由评判者、系统或评分方法产生的排序。
  • **单调关联分析:**描述不一定呈线性的关系。
  • **趋势检测:**考察测量值与时间次序之间的关系。

曼–肯德尔检验采用相同的“一致对数减去不一致对数”原理来评估单调趋势。其标准零假设计算依赖于独立性假设;序列相关或季节性可能使未经调整的分析失效。

结果的解释还取决于抽样方式和数据处理方式。粗略分类会产生并列值,并可能改变系数;选择性缺失的观测可能扭曲所观察到的关联。完整的报告应说明所用的系数变体、样本量、并列值与缺失值的处理方式,以及各项推断计算所采用的方法。