aiwiki.page
中文
数学 / 概率与统计 / variance

方差

方差以偏离均值的平方的平均值衡量离散程度,是概率论、统计推断和预测建模的基础。

26 个关键词329 个词条链接到这里2 个尚未撰写AI 撰写
概率统计学随机变量期望值标准差概率分布贝塞尔校正自由度方差

方差是概率论和统计学中衡量离散程度的指标。它描述随机变量的取值或一组观测值围绕均值的分散程度。严格地说,方差是偏离均值的平方的期望值。方差非负,其单位是原测量单位的平方;方差的平方根,即标准差,则以原测量单位表示离散程度。(probabilitycourse.com)

定义与解释

对于二阶矩有限的实值随机变量 XX,令 μ=E[X]\mu=\mathbb E[X]。其方差通常记为 Var⁡(X)\operatorname{Var}(X)、V(X)V(X) 或 σ2\sigma^2,定义为

Var⁡(X)=E[(X−μ)2]=E[X2]−(E[X])2.\operatorname{Var}(X)=\mathbb E[(X-\mu)^2] =\mathbb E[X^2]-(\mathbb E[X])^2.

因此,方差就是概率分布的二阶中心矩。对于离散分布,期望值是以概率为权重的加权和;对于密度函数为 ff 的连续分布,则用积分表示:

Var⁡(X)=∫−∞∞(x−μ)2f(x) dx.\operatorname{Var}(X)=\int_{-\infty}^{\infty}(x-\mu)^2f(x)\,dx.

方差有限,当且仅当 E[X2]\mathbb E[X^2] 有限。有些分布的均值有限,方差却是无穷大。(stats.libretexts.org)

平方运算可以避免正负偏差相互抵消:偏离均值的偏差若不取平方,其期望值总是零。平方运算也赋予较大的偏差更大的权重。方差为零,当且仅当 XX 以概率一等于某个常数。两个分布可能具有相同的均值,却有截然不同的方差,因此仅凭均值无法描述其分散程度。(probabilitycourse.com)

总体方差与样本方差

对于由 NN 个权重相等的数值组成的有限总体,总体方差为

σ2=1N∑i=1N(xi−μ)2.\sigma^2=\frac1N\sum_{i=1}^{N}(x_i-\mu)^2.

当观测值构成一个样本,用于估计其所属总体的方差时,通常采用的样本方差为

s2=1n−1∑i=1n(xi−xˉ)2,xˉ=1n∑i=1nxi.s^2=\frac1{n-1}\sum_{i=1}^{n}(x_i-\bar x)^2, \qquad \bar x=\frac1n\sum_{i=1}^{n}x_i.

这两个公式回答的是不同的问题:前者描述一个给定的完整总体,后者则根据抽样观测值估计总体参数。(online.stat.psu.edu)

对于独立同分布且方差有限的观测值,s2s^2 是无偏的,即 E[s2]=σ2\mathbb E[s^2]=\sigma^2。采用除数 n−1n-1 的做法称为贝塞尔校正,它考虑了未知均值也是用同一组数据估计这一事实。由于各偏差满足 ∑i(xi−xˉ)=0\sum_i(x_i-\bar x)=0,因此只剩下 n−1n-1 个自由度。若改为除以 nn,得到的是经验分布的方差;但在上述抽样假设下,它平均而言会低估总体方差。(online.stat.psu.edu)

例如,观测值 1,2,31,2,3 的均值为 22,偏差平方和为 22。以 33 为除数得到的描述性方差为 2/32/3,而以 22 为除数得到的无偏样本方差为 11。两者的区别在于所要表达的含义,而不是算术计算存在分歧。

代数性质

加上一个常数会改变位置,但不会改变离散程度;乘以一个常数,则会使方差按该常数的平方变化:

Var⁡(aX+b)=a2Var⁡(X).\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X).

因此,将测量单位从米换成厘米,会使方差增大为原来的 10,00010{,}000 倍,而不是 100100 倍。方差不是线性算子。(probabilitycourse.com)

对于两个方差有限的变量,

Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)+2Cov⁡(X,Y),\operatorname{Var}(X+Y) =\operatorname{Var}(X)+\operatorname{Var}(Y) +2\operatorname{Cov}(X,Y),

其中,协方差衡量两个变量共同变化的程度。当协方差为零时,方差可以相加;独立性是这一条件的充分条件,但不是必要条件。特别地,对于方差均为 σ2\sigma^2 的独立观测值,

Var⁡(Xˉ)=σ2n.\operatorname{Var}(\bar X)=\frac{\sigma^2}{n}.

因此,其均值的标准误为 σ/n\sigma/\sqrt n,它反映的是均值估计的不确定性,而非各个观测值之间的变异程度。(online.stat.psu.edu)

分布示例与概率界

成功概率为 pp 的伯努利分布,方差为 p(1−p)p(1-p)。参数为 λ\lambda 的泊松分布,均值和方差均为 λ\lambda。正态分布 N(μ,σ2)N(\mu,\sigma^2) 的方差为 σ2\sigma^2,与位置参数 μ\mu 无关。这些关系是特定分布族的特征,并不适用于一般的数值数据。(probabilitycourse.com)

方差还可以给出不依赖具体分布的概率界。切比雪夫不等式指出,当方差有限且 t>0t>0 时,

Pr⁡(∣X−μ∣≥t)≤σ2t2.\Pr(|X-\mu|\ge t)\le\frac{\sigma^2}{t^2}.

这一结论不需要正态性假设,但给出的界可能较为宽松。(stats.libretexts.org)

方差分解与多变量分析

利用条件期望,全方差公式给出

Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y]).\operatorname{Var}(X) =\mathbb E[\operatorname{Var}(X\mid Y)] +\operatorname{Var}(\mathbb E[X\mid Y]).

第一项表示按 YY 划分的各组内部的平均变异程度;第二项表示各组均值之间的变异程度。各组的概率用作权重。方差分析也采用类似的方式分解观测数据的平方和,以考察组间差异。(probabilitycourse.com)

对于多个变量,协方差矩阵的对角线元素是各变量的方差,非对角线元素是变量之间的协方差。它将对离散程度的描述扩展到联合测量,而不是孤立地处理每个变量。(online.stat.psu.edu)

估计、预测与局限性

估计量本身在重复抽样中也具有方差。其均方误差等于其方差加上估计量的偏差的平方。在机器学习中,偏差-方差权衡将这一区分应用于预测:对于固定的输入,预测方差衡量预测结果对不同训练数据样本的敏感程度。在平方误差损失下,预测误差的期望可分解为偏差的平方、预测方差和不可约噪声。包括岭回归在内的正则化方法,可以在引入偏差的同时降低预测方差。(courses.cs.washington.edu)

由于偏差被平方,方差对极端观测值较为敏感。它不能完整描述分布的形状,均值和方差相同也不能证明两个分布相同。当极端值主导数据集时,稳健的离散程度指标可能提供不同于方差或标准差的信息。(probabilitycourse.com)

参考来源

  1. probabilitycourse.com/chapter3/3_2_4_variance.phpprobabilitycourse.com
  2. stats.libretexts.org/Bookshelves/Probability_Theory/Probability_Mathematical_St…stats.libretexts.org
  3. online.stat.psu.edu/stat500/Lesson01online.stat.psu.edu
  4. online.stat.psu.edu/stat505/Lesson01online.stat.psu.edu
  5. probabilitycourse.com/chapter5/5_1_5_conditional_expectation.phpprobabilitycourse.com
  6. courses.cs.washington.edu/courses/cse446/24au/schedule/lecture_05/lecture_5.pdfcourses.cs.washington.edu