列联表是按两个或多个分类变量对观测值进行分类的频数表。每个单元格记录属于某一特定类别组合的观测数量。在统计学中,列联表用于汇总数据、比较条件分布,以及研究变量之间是否存在关联。两个变量的列联表通常以行和列的形式展示;涉及更多变量的列联表则可以表示为一组二维表或多维数组。
结构与记号
对于分别具有 个行类别和 个列类别的两个变量, 列联表中各单元格的观测频数记为 ,其中 ,。
行合计、列合计和总计分别为
加号表示对相应的下标求和。行合计和列合计称为边际合计, 则为总计。
例如,一项调查可能按工作方式和偏好的会议形式,将100名受访者分类如下:
| 工作方式 | 偏好线上会议 | 偏好线下会议 | 合计 |
|---|---|---|---|
| 远程办公 | 30 | 20 | 50 |
| 现场办公 | 20 | 30 | 50 |
| 合计 | 50 | 50 | 100 |
单元格中的频数30表示既远程办公又偏好线上会议的受访者人数。边际合计分别描述各个变量,不保留两个变量之间关联的信息。
在通常的频数表中,每个变量的各类别相互排斥,每个观测值恰好计入一个单元格。对于允许受访者选择多个类别的多选题,需要采用不同的解释:表中的数值可能统计的是选择次数,而非不同的受访者人数。
频数、比例与条件分布
将每个频数除以总计,即得到相对频率:
这些相对频率构成两个变量的经验联合概率分布。
三种百分比展示方式回答不同的问题:
- 总体百分比:,即某单元格中的观测数占全部观测数的百分比。
- 行百分比:,即某一行内各列类别的分布。
- 列百分比:,即某一列内各行类别的分布。
行百分比和列百分比估计的是不同的条件概率,因此必须明确说明各自的分母。
在上述例子中,远程办公者有60%偏好线上会议,而现场办公者的这一比例为40%。反过来看,偏好线上会议的人中有60%远程办公。这两个百分比恰好相等,是由该表特定的边际合计决定的;一般情况下,它们不一定相等。
当各组规模不同时,仅看原始频数可能产生误导。规模较大的组可能在每个结果类别中都有更多观测,即使该组某一结果的组内比例更低。
独立性与期望频数
如果对于每一对类别都有
成立,则称两个变量 和 具有统计独立性。等价地,在作为条件的事件概率为正时,任一变量的条件分布都不随另一变量的类别而改变。
在拟合的独立性模型下,各单元格的期望频数为
这些是拟合得到的期望值,并非额外的观测值,也不一定是整数。
在上述例子中,每个单元格的期望频数均为 。观测频数偏离了这一模式:“远程办公—偏好线上会议”和“现场办公—偏好线下会议”两个单元格的频数都高于独立性模型的预测。
即使总体中的变量相互独立,样本比例也很少恰好满足独立性。统计推断所评估的是,观测到的偏离是否可以用抽样变异来解释。
统计检验
皮尔逊卡方检验
标准的独立性皮尔逊卡方检验采用以下检验统计量:
在独立性原假设成立且抽样条件适当时,该统计量的大样本分布近似为卡方分布,其自由度为
这一公式假定使用的是没有结构性限制的普通列联表,且总体的各边际概率均为正。
对于上述例子,
由此得到的P值描述了在原假设模型下,出现至少如此大的统计量有多罕见。它并不是独立性成立的概率,也不衡量关联的强度或实际重要性。
同样的计算还可用于检验同质性,即从若干总体分别独立抽取样本,检验这些总体是否具有相同的分类分布。其数值计算过程相同,但抽样设计和解释不同于对单一总体样本进行的独立性检验。
近似是否准确取决于期望频数和表的结构,而不只是总样本量。期望频数过小可能导致近似不准确。诸如期望频数应达到5之类的常见阈值只是经验法则,并非普遍适用的有效性条件。
精确检验与基于模拟的检验
费希尔精确检验广泛用于 列联表,尤其适合频数较小或稀疏的情形。在独立性成立时,以行、列边际合计均固定为条件,某一单元格的频数服从超几何分布,而该频数又决定其余单元格的频数。
更大的列联表也有相应的精确检验方法,但计算量可能很大。当无法实际枚举所有可能的表时,可以使用条件蒙特卡洛方法近似计算检验概率。对于离散分布,双侧精确检验的不同定义可能产生不同的P值。
似然比检验
另一种统计量是似然比离差:
其中,规定 的项对总和的贡献为零。在标准正则条件下, 与皮尔逊统计量具有相同的渐近卡方参照分布。
这一统计量也可以从信息论角度解释:
其中, 是用自然对数计算的经验互信息。
关联的度量
显著性检验考察数据与原假设模型是否相容;效应量则描述关联的大小或模式。
二乘二列联表
对于如下列联表:
| 结果出现 | 结果未出现 | |
|---|---|---|
| 第1组 | ||
| 第2组 |
在相关分母非零时,优势比为
它比较第1组与第2组中该结果出现的优势,即出现与未出现的概率之比。
另外两种比较方式是结果比例之差:
以及结果比例之比:
哪些量具有有意义的总体解释,取决于观测数据的抽样方式。例如,当抽样设计固定了结果阳性和结果阴性的观测数量时,观测到的结果比例通常不能直接估计总体中相应结果的概率。
对于前面的示例表,以“偏好线上会议”为结果、以远程办公者为第1组,可得优势比为 ,比例差为 ,比例比为 。这些量描述了同一关联的不同方面。
更大的列联表
一种常用的标准化关联度量是克拉默 系数:
对于非退化的列联表,其取值范围为0到1。在 列联表中,它等于φ系数的绝对值。它不表示关联的方向,而“小”或“大”等惯用判断取决于具体情境。
对于有序类别,利用其顺序的方法可能比针对无序类别的度量提供更多信息。将类别视为无序类别,会丢失其顺序信息。
抽样模型与假设
同一张观测列联表可能来自不同的抽样方案:
- **多项抽样:**总计 固定,各观测被归入相应单元格。
- **乘积多项抽样:**行或列的一组边际合计固定,例如从多个组中分别抽取预定数量的样本。
- **泊松抽样:**各单元格的频数被建模为相互独立的泊松分布随机变量,总计则是随机的。
- **固定边际抽样或条件推断:**行、列边际合计均由设计固定,或在分析中以二者为给定条件。
这些区别会影响似然、参数的解释和精确推断,尽管若干大样本方法的结果相同。
普通卡方方法假定各观测单位相互独立。对同一个人的重复测量、配对数据、以家庭为单位的聚类数据以及复杂抽样调查设计,通常需要使用能够考虑相关性或抽样设计的方法。交叉表仍然是有效的描述性展示方式,但仅凭表的形式,并不能断定常规检验适用。
多维列联表与统计模型
三维列联表增加了第三个分类变量,通常按第三个变量的各个类别,分别展示为一系列二维列联表。这类表可以区分边际关联与条件独立。
分层后,关联可能发生变化。在辛普森悖论中,汇总表中的关联可能在数据按组拆分后发生反转。组间构成差异可能造成这种模式。是否应以某个变量为条件,取决于研究设计和因果结构,不能仅由列联表决定。
对数线性模型通过主效应和交互作用项表示单元格的期望频数。对于二维独立性模型,
需要施加约束以保证参数可识别。增加交互作用项可表示对独立性的偏离。多维模型则可以描述更复杂的条件关联模式。
当某个分类变量被指定为响应变量时,逻辑回归及相关模型提供了另一种分析数据的方法,尤其适用于解释变量中包含连续测量值的情形。
应用与局限
列联表广泛用于调查、质量控制、人口研究等领域。分类模型的混淆矩阵是一种特殊的列联表,用于比较预测类别与实际观测类别。
主要局限包括:
- **关联不等于因果。**关联可能由混杂、选择过程或数据生成过程的其他特征造成。
- **零频数有不同含义。**抽样零是可能出现但未被观测到的类别组合;结构零则是不可能出现的组合。结构零会改变模型,也可能改变自由度。
- **稀疏表可能难以分析。**增加类别或变量会使单元格数量迅速增加,往往导致各单元格中的信息很少。
- **分组会损失信息。**将连续测量值转换为类别后,虽然可以制成列联表,但会丢失类别内部的变异,也可能使结果对分界点的选择敏感。
- **缺失观测会影响解释。**排除不完整记录,或将缺失单独视为一个类别,都会改变列联表所描述的内容,并可能引入偏倚。
- **整体检验不能指出具体的偏离。**显著结果提供了反对整体独立性模型的证据,并不意味着每一行或每一个单元格都有差异。考察大量单元格或对比会引发多重检验问题。
- **精确程度很重要。**在小型或稀疏列联表中,效应估计可能不稳定;恰当的置信区间能够反映仅凭频数和P值无法体现的不确定性。