统计独立性 · aiwiki.page

统计独立性是事件或随机变量之间的一种关系：有关其中一个的信息不会改变另一个的概率。在概率论中，独立性通过联合概率的乘积分解规则来定义，而不是依据物理上的分离或表面上不存在联系来判断。独立性是特定概率模型的一项性质，在统计学中具有核心地位，用于区分不存在依赖关系的模型与包含关联关系的模型。(ocw.mit.edu)

事件的独立性

在概率空间 $(\Omega,\mathcal F,P)$ 上，若两个事件 $A$ 和 $B$ 满足

P(A\cap B)=P(A)P(B),

则称它们相互独立。

当 $P(B)>0$ 时，这一定义等价于用条件概率表示的 $P(A\mid B)=P(A)$ 。独立性具有对称性：只要相应的条件概率有定义，任何一个事件的发生都不会改变另一个事件的概率。即使某个事件的概率为零，乘积形式的定义仍然适用。(ocw.mit.edu)

独立与互斥不同。互斥事件不能同时发生；如果两个事件的概率均为正，它们的交集概率为零，而各自概率的乘积为正，因此它们并不独立。例如，“掷一次骰子得到一点”和“掷一次骰子得到两点”是互斥事件，而不是独立事件。相比之下，在两次独立抛掷公平硬币的模型中，两次均为正面的概率为 $1/2\times1/2=1/4$ 。将两个独立事件中的任意一个替换为其补事件，仍然保持独立性。(online.stat.psu.edu)

随机变量的独立性

如果对于任意一对博雷尔集 $S,T$ ，两个实值随机变量 $X$ 和 $Y$ 都满足

P(X\in S,Y\in T)=P(X\in S)P(Y\in T),

则称它们相互独立。

等价地，这两个变量生成的σ代数相互独立。这种表述不要求存在密度，适用于离散、连续和混合型概率分布。(ocw.mit.edu)

独立变量的联合概率分布是各自边缘分布的乘积。对于离散变量，其概率质量函数满足

p_{X,Y}(x,y)=p_X(x)p_Y(y).

如果存在联合概率密度函数，则独立性等价于 $f_{X,Y}(x,y)=f_X(x)f_Y(y)$ 几乎处处成立。另一个等价判据使用累积分布函数：

F_{X,Y}(x,y)=F_X(x)F_Y(y)

对所有实数 $x,y$ 成立。这些条件涉及整个分布，而不只是选定的某些矩或取值。(online.stat.psu.edu)

两两独立与相互独立

如果一个集合中的每一对成员都相互独立，则称它们两两独立。相互独立是更强的条件：每一个有限子集都必须满足相应的乘积规则。对于事件 $A_1,\ldots,A_n$ ，这意味着

P\!\left(\bigcap_{i\in J}A_i\right) =\prod_{i\in J}P(A_i)

对指标集合的每个非空子集 $J$ 都成立。仅检验各个事件对，或仅检验全部事件的交集，都不足以确定相互独立性。对于无限集合，相互独立性同样通过所有有限子集来定义。(online.stat.psu.edu)

一个典型例子是取相互独立、以相等概率取 0 或 1 的二元变量 $X,Y$ ，并令 $Z=X\oplus Y$ ，其中 $\oplus$ 表示异或。每一对变量都相互独立，但这三个变量并非相互独立：知道 $X$ 和 $Y$ 就能确定 $Z$ 。例如， $P(X=0,Y=0,Z=0)=1/4$ ，而三个边缘概率的乘积为 $1/8$ 。这些概率可以直接由 $(X,Y)$ 的四个等可能取值算出。(ocw.mit.edu)

独立性、协方差与信息

具有有限二阶矩的独立变量，其协方差为零；因此，当两个变量的方差都为正时，它们的皮尔逊相关关系系数也为零。特别地，它们的期望值满足 $E[XY]=E[X]E[Y]$ 。反过来通常不成立，因为协方差衡量的是线性关联，而非所有形式的依赖关系。(online.stat.psu.edu)

例如，设 $X$ 在 $[-1,1]$ 上服从均匀分布，且 $Y=X^2$ 。由对称性可得 $E[X]=E[X^3]=0$ ，因此 $\operatorname{Cov}(X,Y)=0$ ，尽管 $Y$ 完全由 $X$ 决定。一个值得注意的例外是多元正态分布：联合服从正态分布的变量，若协方差为零，则相互独立。各个边缘分布分别为正态分布，并不能保证联合分布为正态分布。(online.stat.psu.edu)

在信息论中，互信息通过下式刻画独立性：

I(X;Y)=D_{\mathrm{KL}}(P_{X,Y}\,\|\,P_X\otimes P_Y).

这里的KL散度用于比较联合分布与各边缘分布的乘积。互信息为零当且仅当变量相互独立，因此它能够识别协方差可能无法发现的非线性依赖关系。(ocw.mit.edu)

条件独立

条件独立是指条件分布中的独立性。对于概率为正的事件 $C$ ，有

P(A\cap B\mid C)=P(A\mid C)P(B\mid C).

一般而言，无条件独立与条件独立并不能相互推出。在上述二元异或例子中，尽管 $X$ 和 $Y$ 无条件独立，但给定 $Z=0$ 后，它们必然相等。条件独立关系也为概率图模型提供了所使用的因子分解结构。(ocw.mit.edu)

根据数据评估独立性

数学模型中的独立性是精确的，而根据经验数据进行评估则涉及抽样不确定性。对于分类变量，统计假设检验通常使用皮尔逊独立性卡方检验。在列联表中，独立性假设下的期望频数等于对应的行合计乘以列合计，再除以样本量。观测频数与这些期望频数的偏差决定了检验统计量。(online.stat.psu.edu)

在满足检验假定的前提下，较小的P值提供了反对独立性假设的证据。未能拒绝该假设并不意味着已经确立了严格的独立性；这只表示，在所选的显著性水平下，现有数据尚未提供足够证据表明存在依赖关系。(online.stat.psu.edu)