在统计学中,Z分数以参考标准差为单位,表示某个数值高于或低于参考均值的程度。其计算方法是用该数值减去均值,再除以标准差。Z分数是无量纲的:分数为 表示高于均值两个标准差,分数为 则表示低于均值一个半标准差。标准化本身不要求数据服从正态分布,但若要通过标准正态分布的概率来解释Z分数,就需要满足相应的正态分布条件。
定义与解释
对于来自某个总体的数值 ,若总体均值为 ,标准差 为有限的正数,则其Z分数为
符号表示相对于均值的方向,绝对值则表示以标准差为单位的距离:
- :该数值等于均值。
- :该数值高于均值。
- :该数值低于均值。
- :该数值与均值相差一个标准差。
例如,如果考试成绩的参考分布均值为 ,标准差为 ,那么成绩 对应的Z分数为
当参考均值和标准差已知时,可以根据Z分数还原原始数值:
因此,Z分数并不是观测值固有的属性。同一个数值,与不同总体、不同时期或不同参照群体比较时,可能得到不同的Z分数。
数学性质
满足
无论原始概率分布的形状如何,这些性质都成立。标准化后的变量仍可能呈偏态、离散型、重尾或多峰分布。减去均值并除以一个正常数,只会改变位置和尺度,而不会改变分布的基本形状。
标准化还消除了对计量单位的依赖。若 ,其中 ,并且每个变量都用自身的均值和标准差进行标准化,那么相对应的观测值具有相同的Z分数。若 ,则两者的Z分数互为相反数。
由于分母为正时这一变换是递增的,因此它保持数值的大小顺序不变。只要两个变量的方差均为有限的非零值,分别对它们进行标准化也会保持其皮尔逊相关关系不变。
当参考标准差为零时,普通Z分数无定义。当总体的均值或方差不存在时,也无法进行总体标准化。
根据样本计算Z分数
当总体参数未知时,通常使用样本均值和样本标准差对观测值进行标准化:
其中
对于观测值不全相同且 的样本,这些标准化值满足
因此,它们的样本均值为零,样本方差为一。
有些软件在计算标准差时使用除数 ,而不是 。按照这种约定,标准化值的平方的平均值为一。两种约定都有使用;复现计算时,尤其是在小样本情况下,必须注意两者的区别。除数 与估计总体方差时使用的贝塞尔校正有关。
使用同一样本的均值和标准差计算出的Z分数,会受到这些共同估计值的约束。因此,不应将它们视为从标准正态分布中独立抽取的观测值。
与正态分布的关系
若 服从均值为 、方差为 的正态分布,则
标准正态分布的累积分布函数通常记作 ,它可以将Z分数转换为累积概率:
例如,在严格服从正态分布的模型下:
| Z分数 | 不高于该数值的近似比例 |
|---|---|
| 2.28% | |
| 15.87% | |
| 50.00% | |
| 84.13% | |
| 97.72% |
正态分布中,约有68.27%、95.45%和99.73%的数值分别位于均值上下一个、两个和三个标准差的范围内。
这些百分比并不是Z分数普遍具有的性质。对于非正态分布,通常无法仅凭Z分数确定百分位或尾部概率。即使是 ,也未必对应中位数。
在更弱的假设下,可以得到不依赖具体分布的界限。例如,当 的均值为零、方差为一时,切比雪夫不等式给出
这类界限通常远不如根据特定分布计算出的概率精确。
Z分数与统计推断
“Z分数”一词也用于指标准化的检验统计量。在统计假设检验中,相应的分母通常是标准误,而不是单个观测值的标准差。
例如,假设 是来自正态总体的独立观测值,且总体标准差 已知。若要检验总体均值为 这一原假设,所用统计量为
在原假设成立时,该统计量严格服从标准正态分布。对于满足适当条件的非正态总体,中心极限定理可为大样本下采用近似正态分布提供依据。
区分单个观测值的Z分数与标准化的样本均值十分重要:
两者标准化的对象不同,回答的问题也不同。
如果总体标准差未知,并以样本标准差代替,则相应的均值检验统计量为
对于独立的正态观测值,该统计量服从自由度为 的学生t分布,而不是严格服从标准正态分布。不过,仅仅使用样本标准差对单个观测值进行标准化,并不会使该观测值的标准化分数成为学生t统计量。
标准正态分布的临界值也用于计算置信区间和P值。对于原假设下的分布严格为标准正态分布的双侧检验,若观测到的统计量为 ,则有
这一计算是否成立,取决于原假设下所采用的分布是否有效,而不只是取决于该统计量是否被称为Z分数。
应用
比较相对位置
Z分数使采用不同尺度测量的观测值,能够按照它们在各自参考分布中的位置进行比较。例如,不同考试中的成绩 和 无法直接比较,但可以比较它们与各自均值之间的标准化距离。
这种比较反映的是相对位置,并不一定意味着知识水平、难度或实际重要性相同。当参考分布的形状不同时,相同的Z分数也未必代表相同的百分位。
数据预处理
在机器学习中,特征标准化通常使用训练集中各数值变量的均值和标准差对相应变量进行变换。这可以防止数值尺度较大的变量对距离计算或惩罚项产生过大的影响。
标准化常与主成分分析、基于距离的方法以及使用正则化的模型有关。它是否有用,取决于所用方法和变量的含义;使各变量的方差相等是一种建模选择,而不是普遍要求。
在使用未见过的数据进行评估时,通常先根据训练数据估计参考均值和标准差,再将这些估计值原样用于验证集或测试集中的观测值。在交叉验证中,应在每一折的训练部分内分别估计这些量。如果使用完整数据集进行估计,就会使评估样本中的信息影响预处理过程。
识别异常观测值
绝对值较大的Z分数可以提示某个观测值远离参考均值。 等阈值是常见的筛查惯例,但其含义取决于分布假设、样本量以及所检查的观测值数量。
极端的Z分数本身并不能证明观测值有误。它可能反映真实的罕见事件、选择不当的参考总体、重尾分布,或者数据生成过程发生了变化。
局限性与相关变换
均值和标准差对极端观测值很敏感。一个异常大的数值可能使均值偏移并增大标准差,从而使其自身或其他异常值在标准化后显得不那么极端。
稳健的替代方法用中位数代替均值,并用稳健尺度估计量(例如中位数绝对偏差)代替标准差。这些方法属于相关的标准化过程,但与普通Z分数并不相同。
Z标准化还应与以下方法区分开来:
- 最小—最大缩放:使用观测到的最小值和最大值,将数值映射到指定区间。
- 百分位排名:描述数值在经验分布或理论分布中的位置。
- 正态分数变换:将秩或累积概率映射到正态分布的分位数,能够改变分布形状。
仅靠Z分数变换,不能消除偏态、保证正态性、去除离群值,也不能使不同参考总体在实质意义上具有可比性。