方差是概率论和统计学中衡量离散程度的指标。它描述随机变量的取值或一组观测值围绕均值的分散程度。严格地说,方差是偏离均值的平方的期望值。方差非负,其单位是原测量单位的平方;方差的平方根,即标准差,则以原测量单位表示离散程度。(probabilitycourse.com)
定义与解释
对于二阶矩有限的实值随机变量 ,令 。其方差通常记为 、 或 ,定义为
因此,方差就是概率分布的二阶中心矩。对于离散分布,期望值是以概率为权重的加权和;对于密度函数为 的连续分布,则用积分表示:
方差有限,当且仅当 有限。有些分布的均值有限,方差却是无穷大。(stats.libretexts.org)
平方运算可以避免正负偏差相互抵消:偏离均值的偏差若不取平方,其期望值总是零。平方运算也赋予较大的偏差更大的权重。方差为零,当且仅当 以概率一等于某个常数。两个分布可能具有相同的均值,却有截然不同的方差,因此仅凭均值无法描述其分散程度。(probabilitycourse.com)
总体方差与样本方差
对于由 个权重相等的数值组成的有限总体,总体方差为
当观测值构成一个样本,用于估计其所属总体的方差时,通常采用的样本方差为
这两个公式回答的是不同的问题:前者描述一个给定的完整总体,后者则根据抽样观测值估计总体参数。(online.stat.psu.edu)
对于独立同分布且方差有限的观测值, 是无偏的,即 。采用除数 的做法称为贝塞尔校正,它考虑了未知均值也是用同一组数据估计这一事实。由于各偏差满足 ,因此只剩下 个自由度。若改为除以 ,得到的是经验分布的方差;但在上述抽样假设下,它平均而言会低估总体方差。(online.stat.psu.edu)
例如,观测值 的均值为 ,偏差平方和为 。以 为除数得到的描述性方差为 ,而以 为除数得到的无偏样本方差为 。两者的区别在于所要表达的含义,而不是算术计算存在分歧。
代数性质
加上一个常数会改变位置,但不会改变离散程度;乘以一个常数,则会使方差按该常数的平方变化:
因此,将测量单位从米换成厘米,会使方差增大为原来的 倍,而不是 倍。方差不是线性算子。(probabilitycourse.com)
对于两个方差有限的变量,
其中,协方差衡量两个变量共同变化的程度。当协方差为零时,方差可以相加;独立性是这一条件的充分条件,但不是必要条件。特别地,对于方差均为 的独立观测值,
因此,其均值的标准误为 ,它反映的是均值估计的不确定性,而非各个观测值之间的变异程度。(online.stat.psu.edu)
分布示例与概率界
成功概率为 的伯努利分布,方差为 。参数为 的泊松分布,均值和方差均为 。正态分布 的方差为 ,与位置参数 无关。这些关系是特定分布族的特征,并不适用于一般的数值数据。(probabilitycourse.com)
方差还可以给出不依赖具体分布的概率界。切比雪夫不等式指出,当方差有限且 时,
这一结论不需要正态性假设,但给出的界可能较为宽松。(stats.libretexts.org)
方差分解与多变量分析
利用条件期望,全方差公式给出
第一项表示按 划分的各组内部的平均变异程度;第二项表示各组均值之间的变异程度。各组的概率用作权重。方差分析也采用类似的方式分解观测数据的平方和,以考察组间差异。(probabilitycourse.com)
对于多个变量,协方差矩阵的对角线元素是各变量的方差,非对角线元素是变量之间的协方差。它将对离散程度的描述扩展到联合测量,而不是孤立地处理每个变量。(online.stat.psu.edu)
估计、预测与局限性
估计量本身在重复抽样中也具有方差。其均方误差等于其方差加上估计量的偏差的平方。在机器学习中,偏差-方差权衡将这一区分应用于预测:对于固定的输入,预测方差衡量预测结果对不同训练数据样本的敏感程度。在平方误差损失下,预测误差的期望可分解为偏差的平方、预测方差和不可约噪声。包括岭回归在内的正则化方法,可以在引入偏差的同时降低预测方差。(courses.cs.washington.edu)
由于偏差被平方,方差对极端观测值较为敏感。它不能完整描述分布的形状,均值和方差相同也不能证明两个分布相同。当极端值主导数据集时,稳健的离散程度指标可能提供不同于方差或标准差的信息。(probabilitycourse.com)
参考来源
- probabilitycourse.com/chapter3/3_2_4_variance.phpprobabilitycourse.com
- stats.libretexts.org/Bookshelves/Probability_Theory/Probability_Mathematical_St…stats.libretexts.org
- online.stat.psu.edu/stat500/Lesson01online.stat.psu.edu
- online.stat.psu.edu/stat505/Lesson01online.stat.psu.edu
- probabilitycourse.com/chapter5/5_1_5_conditional_expectation.phpprobabilitycourse.com
- courses.cs.washington.edu/courses/cse446/24au/schedule/lecture_05/lecture_5.pdfcourses.cs.washington.edu