卡方分布 是一种连续概率分布 。对于正整数 k k k ,它描述的是 k k k 个独立标准正态随机变量的平方和的分布。参数 k k k 称为自由度 。该分布记为 χ k 2 \chi_k^2 χ k 2 ,在统计学 中具有基础性地位,尤其用于分类数据检验、总体方差推断,以及检验统计量分布的大样本近似。其密度还可以对任意正实数 k k k 定义一个分布,从而将这一分布推广到整数自由度构造之外。
定义与密度 设 Z 1 , … , Z k Z_1,\ldots,Z_k Z 1 , … , Z k 是相互独立 的随机变量,每个变量都服从均值为零、方差为一的标准正态分布 。则
X = ∑ i = 1 k Z i 2 X=\sum_{i=1}^{k}Z_i^2 X = i = 1 ∑ k Z i 2
服从自由度为 k k k 的卡方分布:
X ∼ χ k 2 . X\sim\chi_k^2. X ∼ χ k 2 .
独立性假设至关重要:如果标准正态变量之间存在相关性,其平方和不一定服从这一分布。
对于任意实数 k > 0 k>0 k > 0 ,其概率密度函数 为
f ( x ; k ) = x k / 2 − 1 e − x / 2 2 k / 2 Γ ( k / 2 ) , x > 0 , f(x;k)= \frac{x^{k/2-1}e^{-x/2}} {2^{k/2}\Gamma(k/2)}, \qquad x>0, f ( x ; k ) = 2 k /2 Γ ( k /2 ) x k /2 − 1 e − x /2 , x > 0 ,
当 x < 0 x<0 x < 0 时,密度为零。其中,Γ \Gamma Γ 是伽马函数 。密度在 x = 0 x=0 x = 0 这单个点上的取值不会影响概率。零点处没有点概率质量。
其累积分布函数 为
F ( x ; k ) = γ ( k / 2 , x / 2 ) Γ ( k / 2 ) , x ≥ 0 , F(x;k)= \frac{\gamma(k/2,x/2)}{\Gamma(k/2)}, \qquad x\geq 0, F ( x ; k ) = Γ ( k /2 ) γ ( k /2 , x /2 ) , x ≥ 0 ,
其中,下不完全伽马函数定义为
γ ( a , z ) = ∫ 0 z t a − 1 e − t d t . \gamma(a,z)=\int_0^z t^{a-1}e^{-t}\,dt. γ ( a , z ) = ∫ 0 z t a − 1 e − t d t .
因此,卡方分布是伽马分布 的一个特例,形状参数为 k / 2 k/2 k /2 ,尺度参数为 2 2 2 。如果采用另一种形状—率参数化方式,其率参数为 1 / 2 1/2 1/2 。
形状与数值特征 卡方随机变量不会取负值。自由度较小时,其分布明显右偏;随着自由度增大,分布逐渐趋于对称。
其期望值 和方差 分别为
E [ X ] = k , Var ( X ) = 2 k . \operatorname{E}[X]=k, \qquad \operatorname{Var}(X)=2k. E [ X ] = k , Var ( X ) = 2 k .
因此,其标准差为 2 k \sqrt{2k} 2 k 。其偏度和超额峰度分别为
8 k and 12 k , \sqrt{\frac{8}{k}} \quad\text{and}\quad \frac{12}{k}, k 8 and k 12 ,
。
当 k > 2 k>2 k > 2 时,密度在 x = k − 2 x=k-2 x = k − 2 处达到最大值。当 k = 2 k=2 k = 2 时,密度从零点处的最大边界值开始递减。当 0 < k < 2 0<k<2 0 < k < 2 时,密度在 x x x 从右侧趋近于零时无界,但其积分仍然有限。
矩母函数为
M X ( t ) = ( 1 − 2 t ) − k / 2 , t < 1 2 . M_X(t)=(1-2t)^{-k/2}, \qquad t<\frac12. M X ( t ) = ( 1 − 2 t ) − k /2 , t < 2 1 .
更一般地,
E [ X r ] = 2 r Γ ( k / 2 + r ) Γ ( k / 2 ) , r > − k 2 . \operatorname{E}[X^r] = 2^r\frac{\Gamma(k/2+r)}{\Gamma(k/2)}, \qquad r>-\frac{k}{2}. E [ X r ] = 2 r Γ ( k /2 ) Γ ( k /2 + r ) , r > − 2 k .
两个有用的特例是:
χ 1 2 \chi_1^2 χ 1 2 :一个标准正态变量的平方所服从的分布。
χ 2 2 \chi_2^2 χ 2 2 :均值为 2 2 2 的指数分布 。
可加性与几何解释 独立卡方变量之和
若 X 1 , … , X m X_1,\ldots,X_m X 1 , … , X m 相互独立,且
X j ∼ χ k j 2 , X_j\sim\chi_{k_j}^2, X j ∼ χ k j 2 ,
则
∑ j = 1 m X j ∼ χ ∑ j = 1 m k j 2 . \sum_{j=1}^{m}X_j \sim \chi_{\sum_{j=1}^{m}k_j}^2. j = 1 ∑ m X j ∼ χ ∑ j = 1 m k j 2 .
这一结论对任意正实数自由度都成立,而不仅限于整数。它可由具有相同尺度参数的独立伽马变量的相加法则得出。
距离平方与投影
对于整数 k k k ,由 k k k 个独立标准正态坐标组成的向量服从多元正态分布 。它到原点的欧氏距离的平方服从分布 χ k 2 \chi_k^2 χ k 2 。
更一般地,设 Z \mathbf Z Z 为 n n n 维标准正态向量,P P P 为对称幂等矩阵:
P T = P , P 2 = P . P^\mathsf T=P, \qquad P^2=P. P T = P , P 2 = P .
这样的矩阵表示一个正交投影 。若该矩阵的秩 为 r > 0 r>0 r > 0 ,则二次型 满足
Z T P Z ∼ χ r 2 . \mathbf Z^\mathsf T P\mathbf Z \sim\chi_r^2. Z T P Z ∼ χ r 2 .
自由度表示投影所保留的独立正态方向的个数。这解释了为何在统计应用中,约束条件和拟合参数往往会减少自由度。
正态变量的一般二次型不一定服从卡方分布。若沿各个独立正态方向的权重不相等,通常得到的是卡方变量的加权和。
正态总体方差的推断 假设 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n 是来自均值为 μ \mu μ 、方差为 σ 2 \sigma^2 σ 2 的正态总体的独立观测值。定义样本均值 和样本方差为
X ‾ = 1 n ∑ i = 1 n X i , S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 . \overline X=\frac1n\sum_{i=1}^{n}X_i, \qquad S^2=\frac1{n-1}\sum_{i=1}^{n}(X_i-\overline X)^2. X = n 1 i = 1 ∑ n X i , S 2 = n − 1 1 i = 1 ∑ n ( X i − X ) 2 .
则
( n − 1 ) S 2 σ 2 ∼ χ n − 1 2 . \frac{(n-1)S^2}{\sigma^2} \sim\chi_{n-1}^2. σ 2 ( n − 1 ) S 2 ∼ χ n − 1 2 .
此外,在正态模型下,X ‾ \overline X X 和 S 2 S^2 S 2 相互独立。
自由度为 n − 1 n-1 n − 1 而非 n n n ,是因为残差满足约束
∑ i = 1 n ( X i − X ‾ ) = 0. \sum_{i=1}^{n}(X_i-\overline X)=0. i = 1 ∑ n ( X i − X ) = 0.
若总体均值已知,并用它代替样本均值,则
∑ i = 1 n ( X i − μ ) 2 σ 2 ∼ χ n 2 . \frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\sigma^2} \sim\chi_n^2. σ 2 ∑ i = 1 n ( X i − μ ) 2 ∼ χ n 2 .
这些结果可用于构造关于正态总体方差的精确假设检验和精确置信区间 。若 q p q_p q p 表示 χ n − 1 2 \chi_{n-1}^2 χ n − 1 2 的 p p p -分位数 ,则置信水平为 1 − α 1-\alpha 1 − α 的双侧置信区间为
[ ( n − 1 ) S 2 q 1 − α / 2 , ( n − 1 ) S 2 q α / 2 ] . \left[ \frac{(n-1)S^2}{q_{1-\alpha/2}}, \frac{(n-1)S^2}{q_{\alpha/2}} \right]. [ q 1 − α /2 ( n − 1 ) S 2 , q α /2 ( n − 1 ) S 2 ] .
这里的“精确”是指,在所述模型下,覆盖概率恰好为 1 − α 1-\alpha 1 − α 。对于非正态总体,经过缩放的样本方差通常不服从上述卡方分布。
分类数据的卡方检验 通过皮尔逊卡方检验 ,卡方分布广泛应用于统计假设检验 。一种常用的统计量为
X 2 = ∑ i = 1 m ( O i − E i ) 2 E i , X^2=\sum_{i=1}^{m}\frac{(O_i-E_i)^2}{E_i}, X 2 = i = 1 ∑ m E i ( O i − E i ) 2 ,
其中,O i O_i O i 为观测频数,E i > 0 E_i>0 E i > 0 为原假设 下相应的期望频数。
这一统计量以期望频数的变异尺度为参照来衡量差异。对于分类数据,其卡方分布通常是大样本近似,而非有限样本下精确成立的分布关系。
拟合优度
设 n n n 个独立观测值被划分到 m m m 个互斥类别中,各类别的指定概率为 p 1 , … , p m p_1,\ldots,p_m p 1 , … , p m ,则
E i = n p i . E_i=np_i. E i = n p i .
在适当条件下,
X 2 → d χ m − 1 2 . X^2\xrightarrow{d}\chi_{m-1}^2. X 2 d χ m − 1 2 .
由于观测频数之和等于固定总数 n n n ,因此会损失一个自由度。若通过适当的拟合方法,利用同一组频数估计 p p p 个可识别的模型参数,则通常的极限分布自由度变为
这种扣减需要满足正则条件,并不适用于所有估计方法或模型。
列联表中的独立性
对于一个 r × c r\times c r × c 列联表,在行与列独立的假设下,期望频数估计为
E i j = O i + O + j n , E_{ij} = \frac{O_{i+}O_{+j}}{n}, E ij = n O i + O + j ,
其中,O i + O_{i+} O i + 和 O + j O_{+j} O + j 分别为行合计与列合计。在标准的大样本条件下,皮尔逊统计量近似服从自由度为
( r − 1 ) ( c − 1 ) (r-1)(c-1) ( r − 1 ) ( c − 1 )
的卡方分布。
检验的P值 通常由上尾概率求得:
p = Pr ( χ ν 2 ≥ x o b s 2 ) . p=\Pr\!\left(\chi_\nu^2\geq x_{\mathrm{obs}}^2\right). p = Pr ( χ ν 2 ≥ x obs 2 ) .
近似的局限
当期望频数较小,或频数稀疏地分散在许多单元格中时,近似效果可能较差。诸如要求期望频数至少为五这样的规则,是实用的经验准则,而非普遍适用的数学条件。近似的准确程度还取决于类别数以及各类别概率的分布情况。
观测值之间的依赖、调查权重、聚类以及结构性零值,都可能改变参照分布或自由度。在适当的抽样模型下,可以采用精确条件计算或基于模拟的方法作为替代方案。
回归与基于似然的推断 正态线性模型
在线性回归 模型
Y = A β + ε , ε ∼ N n ( 0 , σ 2 I ) , \mathbf Y=A\boldsymbol\beta+\boldsymbol\varepsilon, \qquad \boldsymbol\varepsilon\sim N_n(\mathbf0,\sigma^2I), Y = A β + ε , ε ∼ N n ( 0 , σ 2 I ) ,
中,假设设计矩阵 A A A 的秩为 p < n p<n p < n 。采用普通最小二乘法 时,残差平方和满足
RSS σ 2 ∼ χ n − p 2 . \frac{\operatorname{RSS}}{\sigma^2} \sim\chi_{n-p}^2. σ 2 RSS ∼ χ n − p 2 .
这是在所述正态误差模型下成立的精确结果。其原因是,残差向量等于误差向量在一个 n − p n-p n − p 维子空间上的投影。
卡方分解也是方差分析 的基础;在方差分析中,独立平方和在考虑各自自由度后进行比较。
似然比统计量
对于嵌套统计模型,考虑
W = 2 [ ℓ ( θ ^ f u l l ) − ℓ ( θ ^ r e s t r i c t e d ) ] , W= 2\left[ \ell(\widehat{\theta}_{\mathrm{full}}) - \ell(\widehat{\theta}_{\mathrm{restricted}}) \right], W = 2 [ ℓ ( θ full ) − ℓ ( θ restricted ) ] ,
其中,ℓ \ell ℓ 为对数似然函数,拟合值通过最大似然估计 获得。威尔克斯定理指出,在适当的正则条件下,若原假设成立,则 W W W 依分布收敛于一个卡方变量,其自由度等于两个模型维数之差。
这是一个渐近结果。位于边界上的参数、不可识别的参数以及某些混合模型不满足通常的假设;它们的极限分布不一定是普通的卡方分布。
相关分布 学生t分布与F分布
若 Z ∼ N ( 0 , 1 ) Z\sim N(0,1) Z ∼ N ( 0 , 1 ) 与 U ∼ χ ν 2 U\sim\chi_\nu^2 U ∼ χ ν 2 相互独立,则
T = Z U / ν T=\frac{Z}{\sqrt{U/\nu}} T = U / ν Z
服从自由度为 ν \nu ν 的学生t分布 。
若 U ∼ χ ν 1 2 U\sim\chi_{\nu_1}^2 U ∼ χ ν 1 2 与 V ∼ χ ν 2 2 V\sim\chi_{\nu_2}^2 V ∼ χ ν 2 2 相互独立,则
F = U / ν 1 V / ν 2 F=\frac{U/\nu_1}{V/\nu_2} F = V / ν 2 U / ν 1
服从自由度为 ν 1 \nu_1 ν 1 和 ν 2 \nu_2 ν 2 的F分布 。这些构造将正态样本的均值和方差与常见的回归检验及方差分析检验联系起来。
非中心卡方分布
若相互独立的正态变量具有单位方差,但均值 μ i \mu_i μ i 不一定为零,则
∑ i = 1 k Z i 2 ∼ χ k 2 ( λ ) , λ = ∑ i = 1 k μ i 2 . \sum_{i=1}^{k}Z_i^2 \sim\chi_k^2(\lambda), \qquad \lambda=\sum_{i=1}^{k}\mu_i^2. i = 1 ∑ k Z i 2 ∼ χ k 2 ( λ ) , λ = i = 1 ∑ k μ i 2 .
这就是非中心卡方分布 ,其非中心参数为 λ \lambda λ 。中心卡方分布对应于 λ = 0 \lambda=0 λ = 0 的情形。
其均值和方差分别为
k + λ and 2 ( k + 2 λ ) , k+\lambda \quad\text{and}\quad 2(k+2\lambda), k + λ and 2 ( k + 2 λ ) ,
。
当原假设的备择假设成立时,常会出现非中心卡方分布,它可用于计算统计功效 。
近似与计算 当 k k k 较大时,由中心极限定理 可得
X − k 2 k → d N ( 0 , 1 ) . \frac{X-k}{\sqrt{2k}} \xrightarrow{d}N(0,1). 2 k X − k d N ( 0 , 1 ) .
一种常用的改进是威尔逊—希尔弗蒂立方根近似:
( X / k ) 1 / 3 − ( 1 − 2 9 k ) 2 / ( 9 k ) ≈ N ( 0 , 1 ) . \frac{ (X/k)^{1/3}-\left(1-\frac{2}{9k}\right) }{ \sqrt{2/(9k)} } \approx N(0,1). 2/ ( 9 k ) ( X / k ) 1/3 − ( 1 − 9 k 2 ) ≈ N ( 0 , 1 ) .
它在一定程度上考虑了分布的偏度,但仍然只是一种近似,尤其是在极端尾部。
统计软件通常通过不完全伽马函数计算概率,并通过数值求逆获得分位数。对于极小的上尾概率,直接计算上尾函数,可以避免用一减去接近一的累积概率时可能出现的精度损失。
历史发展 卡方分布起源于19世纪对正态误差和离差平方和的研究。卡尔·皮尔逊于1900年开展的拟合优度检验研究,提升了这一分布在统计学中的重要地位。
后续研究,尤其是罗纳德·费希尔 的工作,阐明了自由度和参数估计在解释卡方统计量时所起的作用。这些发展将卡方分布与分类数据分析、基于正态理论的推断,以及更广泛的统计检验理论联系起来。