方差是概率论和统计学中衡量离散程度的指标。它描述随机变量的取值或一组观测值围绕均值的分散程度。严格地说,方差是偏离均值的平方的期望值。方差非负,其单位是原测量单位的平方;方差的平方根,即标准差,则以原测量单位表示离散程度。(probabilitycourse.com)
定义与解释
对于二阶矩有限的实值随机变量 (X),令 (\mu=\mathbb E[X])。其方差通常记为 (\operatorname{Var}(X))、(V(X)) 或 (\sigma^2),定义为
[ \operatorname{Var}(X)=\mathbb E[(X-\mu)^2] =\mathbb E[X^2]-(\mathbb E[X])^2. ]
因此,方差就是概率分布的二阶中心矩。对于离散分布,期望值是以概率为权重的加权和;对于密度函数为 (f) 的连续分布,则用积分表示:
[ \operatorname{Var}(X)=\int_{-\infty}^{\infty}(x-\mu)^2f(x),dx. ]
方差有限,当且仅当 (\mathbb E[X^2]) 有限。有些分布的均值有限,方差却是无穷大。(stats.libretexts.org)
平方运算可以避免正负偏差相互抵消:偏离均值的偏差若不取平方,其期望值总是零。平方运算也赋予较大的偏差更大的权重。方差为零,当且仅当 (X) 以概率一等于某个常数。两个分布可能具有相同的均值,却有截然不同的方差,因此仅凭均值无法描述其分散程度。(probabilitycourse.com)
总体方差与样本方差
对于由 (N) 个权重相等的数值组成的有限总体,总体方差为
[ \sigma^2=\frac1N\sum_{i=1}^{N}(x_i-\mu)^2. ]
当观测值构成一个样本,用于估计其所属总体的方差时,通常采用的样本方差为
[ s^2=\frac1{n-1}\sum_{i=1}^{n}(x_i-\bar x)^2, \qquad \bar x=\frac1n\sum_{i=1}^{n}x_i. ]
这两个公式回答的是不同的问题:前者描述一个给定的完整总体,后者则根据抽样观测值估计总体参数。(online.stat.psu.edu)
对于独立同分布且方差有限的观测值,(s^2) 是无偏的,即 (\mathbb E[s^2]=\sigma^2)。采用除数 (n-1) 的做法称为贝塞尔校正,它考虑了未知均值也是用同一组数据估计这一事实。由于各偏差满足 (\sum_i(x_i-\bar x)=0),因此只剩下 (n-1) 个自由度。若改为除以 (n),得到的是经验分布的方差;但在上述抽样假设下,它平均而言会低估总体方差。(online.stat.psu.edu)
例如,观测值 (1,2,3) 的均值为 (2),偏差平方和为 (2)。以 (3) 为除数得到的描述性方差为 (2/3),而以 (2) 为除数得到的无偏样本方差为 (1)。两者的区别在于所要表达的含义,而不是算术计算存在分歧。
代数性质
加上一个常数会改变位置,但不会改变离散程度;乘以一个常数,则会使方差按该常数的平方变化:
[ \operatorname{Var}(aX+b)=a^2\operatorname{Var}(X). ]
因此,将测量单位从米换成厘米,会使方差增大为原来的 (10{,}000) 倍,而不是 (100) 倍。方差不是线性算子。(probabilitycourse.com)
对于两个方差有限的变量,
[ \operatorname{Var}(X+Y) =\operatorname{Var}(X)+\operatorname{Var}(Y) +2\operatorname{Cov}(X,Y), ]
其中,协方差衡量两个变量共同变化的程度。当协方差为零时,方差可以相加;独立性是这一条件的充分条件,但不是必要条件。特别地,对于方差均为 (\sigma^2) 的独立观测值,
[ \operatorname{Var}(\bar X)=\frac{\sigma^2}{n}. ]
因此,其均值的标准误为 (\sigma/\sqrt n),它反映的是均值估计的不确定性,而非各个观测值之间的变异程度。(online.stat.psu.edu)
分布示例与概率界
成功概率为 (p) 的伯努利分布,方差为 (p(1-p))。参数为 (\lambda) 的泊松分布,均值和方差均为 (\lambda)。正态分布 (N(\mu,\sigma^2)) 的方差为 (\sigma^2),与位置参数 (\mu) 无关。这些关系是特定分布族的特征,并不适用于一般的数值数据。(probabilitycourse.com)
方差还可以给出不依赖具体分布的概率界。切比雪夫不等式指出,当方差有限且 (t>0) 时,
[ \Pr(|X-\mu|\ge t)\le\frac{\sigma^2}{t^2}. ]
这一结论不需要正态性假设,但给出的界可能较为宽松。(stats.libretexts.org)
方差分解与多变量分析
利用条件期望,全方差公式给出
[ \operatorname{Var}(X) =\mathbb E[\operatorname{Var}(X\mid Y)] +\operatorname{Var}(\mathbb E[X\mid Y]). ]
第一项表示按 (Y) 划分的各组内部的平均变异程度;第二项表示各组均值之间的变异程度。各组的概率用作权重。方差分析也采用类似的方式分解观测数据的平方和,以考察组间差异。(probabilitycourse.com)
对于多个变量,协方差矩阵的对角线元素是各变量的方差,非对角线元素是变量之间的协方差。它将对离散程度的描述扩展到联合测量,而不是孤立地处理每个变量。(online.stat.psu.edu)
估计、预测与局限性
估计量本身在重复抽样中也具有方差。其均方误差等于其方差加上估计量的偏差的平方。在机器学习中,偏差-方差权衡将这一区分应用于预测:对于固定的输入,预测方差衡量预测结果对不同训练数据样本的敏感程度。在平方误差损失下,预测误差的期望可分解为偏差的平方、预测方差和不可约噪声。包括岭回归在内的正则化方法,可以在引入偏差的同时降低预测方差。(courses.cs.washington.edu)
由于偏差被平方,方差对极端观测值较为敏感。它不能完整描述分布的形状,均值和方差相同也不能证明两个分布相同。当极端值主导数据集时,稳健的离散程度指标可能提供不同于方差或标准差的信息。(probabilitycourse.com)