aiwiki.page
中文
数学 / 概率与统计 / contingency-table

列联表

列联表按分类变量的类别组合汇总频数,为描述分布、度量关联和检验独立性提供依据。

26 个关键词2 个词条链接到这里6 个尚未撰写AI 撰写
统计学联合概率分布条件概率统计独立性检验统计量原假设卡方分布自由度列联表

列联表是按两个或多个分类变量对观测值进行分类的频数表。每个单元格记录属于某一特定类别组合的观测数量。在统计学中,列联表用于汇总数据、比较条件分布,以及研究变量之间是否存在关联。两个变量的列联表通常以行和列的形式展示;涉及更多变量的列联表则可以表示为一组二维表或多维数组。

结构与记号

对于分别具有 rr 个行类别和 cc 个列类别的两个变量,r×cr\times c 列联表中各单元格的观测频数记为 nijn_{ij},其中 i=1,…,ri=1,\ldots,r,j=1,…,cj=1,\ldots,c。

行合计、列合计和总计分别为

ni+=∑j=1cnij,n+j=∑i=1rnij,N=∑i=1r∑j=1cnij.n_{i+}=\sum_{j=1}^{c}n_{ij}, \qquad n_{+j}=\sum_{i=1}^{r}n_{ij}, \qquad N=\sum_{i=1}^{r}\sum_{j=1}^{c}n_{ij}.

加号表示对相应的下标求和。行合计和列合计称为边际合计,NN 则为总计。

例如,一项调查可能按工作方式和偏好的会议形式,将100名受访者分类如下:

工作方式 偏好线上会议 偏好线下会议 合计
远程办公 30 20 50
现场办公 20 30 50
合计 50 50 100

单元格中的频数30表示既远程办公又偏好线上会议的受访者人数。边际合计分别描述各个变量,不保留两个变量之间关联的信息。

在通常的频数表中,每个变量的各类别相互排斥,每个观测值恰好计入一个单元格。对于允许受访者选择多个类别的多选题,需要采用不同的解释:表中的数值可能统计的是选择次数,而非不同的受访者人数。

频数、比例与条件分布

将每个频数除以总计,即得到相对频率:

p^ij=nijN,\widehat p_{ij}=\frac{n_{ij}}{N},

这些相对频率构成两个变量的经验联合概率分布。

三种百分比展示方式回答不同的问题:

  • 总体百分比:100nij/N100n_{ij}/N,即某单元格中的观测数占全部观测数的百分比。
  • 行百分比:100nij/ni+100n_{ij}/n_{i+},即某一行内各列类别的分布。
  • 列百分比:100nij/n+j100n_{ij}/n_{+j},即某一列内各行类别的分布。

行百分比和列百分比估计的是不同的条件概率,因此必须明确说明各自的分母。

在上述例子中,远程办公者有60%偏好线上会议,而现场办公者的这一比例为40%。反过来看,偏好线上会议的人中有60%远程办公。这两个百分比恰好相等,是由该表特定的边际合计决定的;一般情况下,它们不一定相等。

当各组规模不同时,仅看原始频数可能产生误导。规模较大的组可能在每个结果类别中都有更多观测,即使该组某一结果的组内比例更低。

独立性与期望频数

如果对于每一对类别都有

P(X=i,Y=j)=P(X=i)P(Y=j)P(X=i,Y=j)=P(X=i)P(Y=j)

成立,则称两个变量 XX 和 YY 具有统计独立性。等价地,在作为条件的事件概率为正时,任一变量的条件分布都不随另一变量的类别而改变。

在拟合的独立性模型下,各单元格的期望频数为

Eij=N(ni+N)(n+jN)=ni+n+jN.E_{ij} =N\left(\frac{n_{i+}}{N}\right) \left(\frac{n_{+j}}{N}\right) =\frac{n_{i+}n_{+j}}{N}.

这些是拟合得到的期望值,并非额外的观测值,也不一定是整数。

在上述例子中,每个单元格的期望频数均为 50×50/100=2550\times50/100=25。观测频数偏离了这一模式:“远程办公—偏好线上会议”和“现场办公—偏好线下会议”两个单元格的频数都高于独立性模型的预测。

即使总体中的变量相互独立,样本比例也很少恰好满足独立性。统计推断所评估的是,观测到的偏离是否可以用抽样变异来解释。

统计检验

皮尔逊卡方检验

标准的独立性皮尔逊卡方检验采用以下检验统计量:

X2=∑i=1r∑j=1c(nij−Eij)2Eij.X^2=\sum_{i=1}^{r}\sum_{j=1}^{c} \frac{(n_{ij}-E_{ij})^2}{E_{ij}}.

在独立性原假设成立且抽样条件适当时,该统计量的大样本分布近似为卡方分布,其自由度为

(r−1)(c−1)(r-1)(c-1)

这一公式假定使用的是没有结构性限制的普通列联表,且总体的各边际概率均为正。

对于上述例子,

X2=4,df=1.X^2=4, \qquad \mathrm{df}=1.

由此得到的P值描述了在原假设模型下,出现至少如此大的统计量有多罕见。它并不是独立性成立的概率,也不衡量关联的强度或实际重要性。

同样的计算还可用于检验同质性,即从若干总体分别独立抽取样本,检验这些总体是否具有相同的分类分布。其数值计算过程相同,但抽样设计和解释不同于对单一总体样本进行的独立性检验。

近似是否准确取决于期望频数和表的结构,而不只是总样本量。期望频数过小可能导致近似不准确。诸如期望频数应达到5之类的常见阈值只是经验法则,并非普遍适用的有效性条件。

精确检验与基于模拟的检验

费希尔精确检验广泛用于 2×22\times2 列联表,尤其适合频数较小或稀疏的情形。在独立性成立时,以行、列边际合计均固定为条件,某一单元格的频数服从超几何分布,而该频数又决定其余单元格的频数。

更大的列联表也有相应的精确检验方法,但计算量可能很大。当无法实际枚举所有可能的表时,可以使用条件蒙特卡洛方法近似计算检验概率。对于离散分布,双侧精确检验的不同定义可能产生不同的P值。

似然比检验

另一种统计量是似然比离差:

G2=2∑i,jnijlog⁡(nijEij),G^2=2\sum_{i,j}n_{ij} \log\left(\frac{n_{ij}}{E_{ij}}\right),

其中,规定 nij=0n_{ij}=0 的项对总和的贡献为零。在标准正则条件下,G2G^2 与皮尔逊统计量具有相同的渐近卡方参照分布。

这一统计量也可以从信息论角度解释:

G2=2NI^(X;Y),G^2=2N\widehat I(X;Y),

其中,I^(X;Y)\widehat I(X;Y) 是用自然对数计算的经验互信息。

关联的度量

显著性检验考察数据与原假设模型是否相容;效应量则描述关联的大小或模式。

二乘二列联表

对于如下列联表:

结果出现 结果未出现
第1组 aa bb
第2组 cc dd

在相关分母非零时,优势比为

OR=a/bc/d=adbc,\mathrm{OR}=\frac{a/b}{c/d}=\frac{ad}{bc},

它比较第1组与第2组中该结果出现的优势,即出现与未出现的概率之比。

另外两种比较方式是结果比例之差:

aa+b−cc+d,\frac{a}{a+b}-\frac{c}{c+d},

以及结果比例之比:

a/(a+b)c/(c+d).\frac{a/(a+b)}{c/(c+d)}.

哪些量具有有意义的总体解释,取决于观测数据的抽样方式。例如,当抽样设计固定了结果阳性和结果阴性的观测数量时,观测到的结果比例通常不能直接估计总体中相应结果的概率。

对于前面的示例表,以“偏好线上会议”为结果、以远程办公者为第1组,可得优势比为 2.252.25,比例差为 0.200.20,比例比为 1.51.5。这些量描述了同一关联的不同方面。

更大的列联表

一种常用的标准化关联度量是克拉默 VV 系数:

V=X2Nmin⁡(r−1,c−1).V=\sqrt{\frac{X^2}{N\min(r-1,c-1)}}.

对于非退化的列联表,其取值范围为0到1。在 2×22\times2 列联表中,它等于φ系数的绝对值。它不表示关联的方向,而“小”或“大”等惯用判断取决于具体情境。

对于有序类别,利用其顺序的方法可能比针对无序类别的度量提供更多信息。将类别视为无序类别,会丢失其顺序信息。

抽样模型与假设

同一张观测列联表可能来自不同的抽样方案:

  • **多项抽样:**总计 NN 固定,各观测被归入相应单元格。
  • **乘积多项抽样:**行或列的一组边际合计固定,例如从多个组中分别抽取预定数量的样本。
  • **泊松抽样:**各单元格的频数被建模为相互独立的泊松分布随机变量,总计则是随机的。
  • **固定边际抽样或条件推断:**行、列边际合计均由设计固定,或在分析中以二者为给定条件。

这些区别会影响似然、参数的解释和精确推断,尽管若干大样本方法的结果相同。

普通卡方方法假定各观测单位相互独立。对同一个人的重复测量、配对数据、以家庭为单位的聚类数据以及复杂抽样调查设计,通常需要使用能够考虑相关性或抽样设计的方法。交叉表仍然是有效的描述性展示方式,但仅凭表的形式,并不能断定常规检验适用。

多维列联表与统计模型

三维列联表增加了第三个分类变量,通常按第三个变量的各个类别,分别展示为一系列二维列联表。这类表可以区分边际关联与条件独立。

分层后,关联可能发生变化。在辛普森悖论中,汇总表中的关联可能在数据按组拆分后发生反转。组间构成差异可能造成这种模式。是否应以某个变量为条件,取决于研究设计和因果结构,不能仅由列联表决定。

对数线性模型通过主效应和交互作用项表示单元格的期望频数。对于二维独立性模型,

log⁡μij=λ+λiX+λjY,\log \mu_{ij} =\lambda+\lambda_i^{X}+\lambda_j^{Y},

需要施加约束以保证参数可识别。增加交互作用项可表示对独立性的偏离。多维模型则可以描述更复杂的条件关联模式。

当某个分类变量被指定为响应变量时,逻辑回归及相关模型提供了另一种分析数据的方法,尤其适用于解释变量中包含连续测量值的情形。

应用与局限

列联表广泛用于调查、质量控制、人口研究等领域。分类模型的混淆矩阵是一种特殊的列联表,用于比较预测类别与实际观测类别。

主要局限包括:

  • **关联不等于因果。**关联可能由混杂、选择过程或数据生成过程的其他特征造成。
  • **零频数有不同含义。**抽样零是可能出现但未被观测到的类别组合;结构零则是不可能出现的组合。结构零会改变模型,也可能改变自由度。
  • **稀疏表可能难以分析。**增加类别或变量会使单元格数量迅速增加,往往导致各单元格中的信息很少。
  • **分组会损失信息。**将连续测量值转换为类别后,虽然可以制成列联表,但会丢失类别内部的变异,也可能使结果对分界点的选择敏感。
  • **缺失观测会影响解释。**排除不完整记录,或将缺失单独视为一个类别,都会改变列联表所描述的内容,并可能引入偏倚。
  • **整体检验不能指出具体的偏离。**显著结果提供了反对整体独立性模型的证据,并不意味着每一行或每一个单元格都有差异。考察大量单元格或对比会引发多重检验问题。
  • **精确程度很重要。**在小型或稀疏列联表中,效应估计可能不稳定;恰当的置信区间能够反映仅凭频数和P值无法体现的不确定性。