直方图是一种展示数值数据分布的图形:将观测值划分到称为组的区间中,并用矩形表示。每个矩形的横向范围对应一个数值区间,高度则表示频数、相对频数或密度。当各组的组距不同时,必须用矩形的面积而非高度来表示频数,才能使图形准确反映数据的分布。
直方图是统计学、数据科学和科学测量中的基本工具,因为它能揭示单一数值概括无法呈现的特征:不对称性、空缺、集中区域、长尾,以及可能存在的多个峰。直方图还可用于对概率分布进行初步估计,并在计算中表示大型数据集。看似简单的直方图,背后却涉及区间宽度、区间边界位置、归一化方式和测量尺度等重要选择。这些选择既决定了图形能揭示什么,也决定了它可能掩盖什么。
数学定义与归一化
设 为数值观测值,组界构成如下递增序列:
通常将第 组定义为 ,但最后一组可以包含其右端点。第 组的频数为
其中 为示性函数。如果各组互不重叠,且涵盖全部观测值,则 。对于恰好落在组界上的观测值,端点的归属约定十分重要,尤其是在测量值经过舍入的情况下。
常见的归一化方式有几种。频数直方图以 为高度,相对频数直方图则以 为高度。各组等宽时,两者的形状相同,仅纵向尺度相差一个常数倍。频数表示某区间内有多少个观测值,相对频数则表示该区间内的观测值占总数的比例。这两种方式都不能自动保证所有矩形的总面积等于一。
密度直方图则采用以下高度:
其中 。其所有矩形的面积之和为一:
因此,它定义了一个分段常数的概率密度函数。高度的单位是横轴变量单位的倒数。如果测量值以秒为单位,密度的单位就是每秒;只有面积才表示无量纲的概率。密度高度可以大于一,这并不违反任何概率规则。
例如,假设有 100 个观测值,其中 20 个落在 内,30 个落在 内。这两组的相对频数分别为 和 ,但密度高度分别为 和 。第二个区间包含的观测值更多,但由于其宽度是第一个区间的两倍,密度反而较低。如果绘制宽度不等、高度分别为 20 和 30 的矩形,其面积就分别为 20 和 60,从而夸大第二个区间所占的份额。只要各组宽度不等,就必须注意这一区别。
直方图也可以展示频数密度,此时高度为 。在这种表示方式下,矩形面积等于频数,总面积等于 ,而不是一。清晰的纵轴标注有助于区分这些表示方式。
构造分箱并保留测量意义
构造直方图,首先要明确变量、变量的测量尺度,以及哪些观测值可以纳入。数字编码不一定表示数量:例如,邮政编码和类别标识符之间并不存在有实际意义的中间值。将这类编码划分到数值区间中,虽然能在视觉上呈现出一种分布,却没有相应的定量解释。只有当区间及其宽度具有实际意义时,才适合使用直方图。
对于连续测量数据,通常从等宽分箱入手。给定宽度 和起点 ,各分箱可写为
其中, 依次取连续整数。 和 都很重要。在宽度不变的情况下移动起点,会改变哪些相近的观测值被分到同一箱中。跨越分箱边界的一簇数据可能看起来被分成了两部分;将起点平移半个箱宽后,它又可能呈现为一个突出的矩形。当样本较小,或数据中存在高度集中的群组时,这种边界对齐效应尤其明显。
离散数值数据需要格外谨慎处理。对于缺陷数量等取整数值的观测数据,可以将分箱中心设在整数处、边界设在半整数处,这样就能展示每一种可能的计数,而不会让任意设置的边界穿过这些取值。如果每个可能值都单独表示,图形就会非常接近概率质量函数图。当取值范围较大时,将多个整数合并到更宽的区间中仍可能有用,但这会丢失同一组内各个取值之间的区别。
应当区分图中展示的范围与归一化时所使用的全体观测数据。如果排除选定范围之外的观测值,并对剩余数据重新归一化,使总概率为一,那么直方图表示的就是以观测值落在该范围内为条件的条件分布。如果仍沿用原来的分母,图中显示的总面积就可能小于一。因此,裁剪图形与舍弃数据是两种不同的操作,即便它们显示出的矩形看起来相似。
接近取值边界的测量数据也需要明确处理。持续时间不能为负,比例则介于零和一之间。分箱若延伸到变量可能的取值范围之外,可能会浪费空间,或使密度的解释变得复杂。“100及以上”这类开口组没有有限的宽度,因此,若不另作约定,就无法用普通的有限宽度密度矩形来表示。
舍入和数字偏好可能造成人为的尖峰。按周岁记录的年龄、按固定精度舍入的实验室读数,以及填报时偏好五的倍数的数量,都可能呈现出源于记录方式的模式。根据测量分辨率来选择分箱边界,有助于将这类影响与被测量本身的真实特征区分开来。
解读形状、集中程度与异常观测值
直方图通过形状呈现分布,但图中每个可见特征都在一定程度上取决于所选的分组方式。描述分布时,主要关注观测值集中在哪里、分散程度如何、两侧形状是否相似,以及是否存在明显的峰或空隙。这些都属于探索性数据分析的内容,不能据此直接对数据的生成机制下结论。
大致对称的直方图,其中心区域两侧的结构相近。右偏分布的上尾更长或延伸得更远,左偏分布则有较长的下尾。偏斜方向指的是尾部延伸的方向,而不是最高条柱所在的位置。交易金额或等待时间等取正值的量,往往有许多较小的观测值,而较大的观测值相对较少,不过具体形状取决于生成过程和抽样方案。
峰提示了众数的存在,也就是观测值在局部高度集中的区域。双峰直方图可能来自不同子总体的混合,例如运行参数不同的两条生产线所产生的测量值。它也可能由舍入、周期性结构或某种特定的分箱方式造成。高斯混合模型可以表示其中一些分布,但仅凭两个可见的峰,并不能确定背后恰好存在两个群体。反过来,相互重叠的群体也可能只呈现出一个可见的峰。
直方图通过非空区间覆盖的范围及观测值在这些区间中的分配情况,呈现数据的离散程度。它通常无法确定精确的样本均值、中位数或标准差,因为各区间内观测值的具体位置已经丢失。两组数据可以具有完全相同的各箱计数,但均值和方差不同。把每个箱中的观测值都视为位于该箱的中点,可以计算近似的数值摘要,但这些近似结果取决于箱宽和箱内的数据结构。
孤立的条柱或观测值稀疏的尾部可能提示存在异常观测值,但解释这些现象需要结合背景。一个远离其余数据的值,可能是记录错误,也可能是合理的罕见事件,还可能表明所提出的分布不足以描述数据。空箱并不能证明总体在相应区间内的概率为零,尤其是在样本量较小时。同样,直方图呈锯齿状,也不一定意味着其背后的概率密度高度不规则。
直方图还会丢失观测值的排列顺序。两个序列若包含相同的值,即使排列顺序不同,直方图也完全相同,哪怕其中一个序列呈现趋势,而另一个没有。在时间序列中,将所有观测值汇总在一起,可能会掩盖水平变化、周期或不同状态交替出现的现象。直方图描述的是数值的分布,而不是它们的时间排列、空间组织或因果关系。
选择组距与组数
组距的选择涉及一个核心权衡:较窄的组距能保留局部细节,却也会使抽样波动更加明显;较宽的组距能抑制波动,却可能将重要的结构合并在一起。这是偏差-方差权衡的一个例子。不存在一种组距能对所有数据集、用途或潜在分布都最优。已发表的选择规则提供的是参考值,而非普遍适用的正确答案。
赫伯特·斯特奇斯于1926年提出了一条规则,通常写作
按这条规则,组数随样本量呈对数增长。当 时,得到的组数为11。斯特奇斯规则简单易用,至今仍在各类软件中广泛实现,但组数增长缓慢,可能使大样本或结构较丰富的分布所对应的直方图过于粗略。这条规则最初的推导依据,是一种近似钟形分布的二项频数模式。
戴维·W. 斯科特于1979年提出的正态参考规则按下式选择组距:
其中, 为样本标准差。公式中的常数是在以正态分布为参考模型的条件下,通过渐近计算得到的。对 的依赖使该规则给出的组距具有恰当的计量单位,而 则使组距随着观测值数量的增加而减小。极端观测值可能使 增大,导致所选组距对于重尾样本的主体部分而言过宽。
戴维·弗里德曼和佩尔西·戴阿科尼斯于1981年发表的规则采用以下公式:
其中,四分位距是上四分位数与下四分位数之差。与标准差相比,这种离散程度度量对尾部极端值的敏感性较低。当 、四分位距为12个单位时,组距为 个单位。不同软件计算样本分位数时采用的约定不同,因而得到的组距数值可能略有差异。
这些规则在退化或特殊情形下可能失效。如果大多数观测值相同,即使少数观测值有所不同,四分位距仍可能为零。如果数据集中的所有值都相同,就不存在可用于推导正组距的经验离散程度,上述两种基于尺度的规则也就都无法给出正组距。单个极端观测值就可能使总体极差变得很大,此时若根据分布的中心部分确定组距,就会产生许多空组。
数据驱动方法则可以通过惩罚似然、交叉验证或贝叶斯推断来选择分组。这些方法以某个明确的准则为优化目标,可以选择不等组距,也可以适应局部结构。不过,它们仍然包含对何谓有效近似的假设。某种分布特征如果仅在一个精挑细选的组距或分组起点下才出现,其证据力度就弱于在多种合理选择下均可见的特征。
作为统计估计量的直方图
除了用于图形展示,直方图也是进行密度估计的基本工具。设 是来自密度为 的分布的独立观测值。对于固定的分组区间 ,记
该区间内的观测计数服从参数为 和 的二项分布。所有区间的计数共同服从多项分布,因为每个观测值恰好落入一个区间。
对于组距为 的等宽区间,密度估计值为 。当 位于该区间内时,其期望值和方差为
因此,该估计量是区间内平均密度的无偏估计量,但通常并不是每个点处密度的无偏估计量。在真实密度变化迅速的地方,用常数代替密度会产生近似误差。
对于足够规则的密度和规则的等宽划分,渐近平均积分平方误差的主导项具有如下形式:
第一项反映抽样方差,第二项反映近似误差的平方。平衡这两项,可得最优组距与 成正比,这解释了斯科特规则和弗里德曼–戴科尼斯规则中组距对样本量的依赖关系。该公式要求满足一定的光滑性和可积性条件,并非有限样本下的精确恒等式。
对于密度变化规则的区域内某个固定位置,一致性通常要求组距不断缩小,同时局部的期望观测计数不断增大。在一维情形下,常见的条件为
第一个条件使分辨率能够不断提高,第二个条件则避免各区间内的观测过于稀疏。如果组距固定,即使样本量不断增加,也无法还原任意精细的密度细节;它只能越来越准确地估计这些固定区间的概率。
直方图的高度也存在不确定性。在独立抽样模型下,基于计数、采用代入法得到的密度高度标准误估计为
对于观测稀少或没有观测的区间,这一近似可能很不准确。此外,不同区间的高度并不独立:一个观测值归入某个区间,就不可能再归入其他区间。因此,一组逐点区间并不自动构成针对整个密度的同时置信区间。存在依赖关系、抽样概率不等或区间边界由数据确定等情况时,还需要进一步调整。
历史发展与统计图形
直方图的形成,是十九世纪统计表、测量和图形分析广泛发展的一部分。在现代术语确立之前,人们就已使用分组频数分布来整理观测值。用相邻矩形表示数值区间,将列表统计与面积的几何概念联系起来,使人们能够直观地比较分布,而不再只能依靠一列列计数。
卡尔·皮尔逊于1895年在统计学著述中引入了“直方图”(histogram)这一术语。他的工作属于数理统计学早期发展的一部分,当时的研究将经验频数分布与理论曲线进行比较。新术语的出现,并不意味着所有相关的分组频数图形都起源于那一刻。从历史角度看,必须区分一种图形工具的命名与其前身的发展。
频数曲线和直方图的用途相辅相成。直方图保留了与分组观测值之间直观可见的联系,而平滑曲线则表达理论模型,或对观测分布形态的近似。在早期有关生物变异及其他可测量特征的统计研究中,这种关系尤为重要:数据可以先呈现为频数分布,再与所提出的某一类数学曲线进行比较评估。
二十世纪,直方图成为统计教学、工业质量分析和科学报告中的常用工具。斯特奇斯于1926年提出的规则,将一种选择组数的实用方法正式化。后来的研究越来越多地将分组选择视为估计问题,而不只是版面安排问题。斯科特1979年的分析,以及弗里德曼和戴阿科尼斯1981年的研究,将这一常见的图形工具与明确的误差准则和渐近理论联系起来。
探索性数据分析的发展,尤其是约翰·图基1977年出版的同名著作,提倡在套用统计模型之前,先关注数据中的模式、异常观测值、变换及其他展示方式。在这种思路下,直方图的价值不在于提供一幅定论式的图景,而在于作为一种可以调整构建方式的表示形式,揭示数据的不同方面。
计算机改变了直方图的使用规模,也使其生成和调整更加即时。手绘图形需要事先列表计数并选定区间。统计软件使调整组距、比较子群体和处理数百万条观测值变得轻而易举。交互式图形进一步拓展了这些功能,使分组能够随筛选条件和选择操作而变化。与此同时,自动采用的默认设置也让实质性的决策变得不那么显眼:两个程序可能仅仅因为选择了不同的分组或归一化约定,就为同一份数据绘制出明显不同的直方图。
与其他分布图的关系
直方图与条形图的主要区别在于横轴位置所代表的含义。条形图用于比较不同类别,类别的排列顺序可以是任意的,也可以根据展示需要来确定。直方图则将数值轴划分为若干区间,各区间的位置和宽度都有实际意义。类别条形之间留有间隙是一种惯例;直方图中有观测值的组之间若存在空隙,则可能表示其间某个区间内没有观测值。不能仅凭外观相似就判定应采用哪种解释。
经验分布函数展示小于或等于各个给定值的观测值所占的比例:
它不需要设定组距,并保留了读取经验累积概率和分位数所需的精确次序信息。其阶梯状结构避免了直方图所需的分组选择,不过局部峰谷通常不那么一目了然。相比之下,对密度直方图积分得到的是分段线性的累积分布函数,相当于将每一组的概率均匀分配在该组区间内。
频数多边形将各组中点处按频数高度绘出的点连接起来。它可以使同一坐标系内多个分组分布的比较更加方便,但仍然依赖于原有的分组方式。连线还会让人觉得组中点之间呈线性变化,而这种变化并非直接观测所得。因此,应将其视为分组信息的另一种表示形式,而不是对组内细节的还原。
核密度估计用以各个观测值为中心的平滑贡献取代固定的矩形。一种常见的估计量为
其中, 为核函数, 为带宽。这种方法避免了对单一网格起点的依赖,但也引入了核函数、平滑带宽和边界处理方式的选择。平滑只是表示形式的一种性质,并不能证明曲线更忠实地反映了总体。不合适的带宽可能产生或抹去表观上的峰,就像不合适的直方图分组也会造成这种情况一样。
箱线图、点图和原始数据条带图各自侧重于不同的信息。箱线图能够简洁地概括数据的中心位置和离散程度,但可能掩盖多峰性。点图保留了各个观测值,对小样本尤其有用。分位数—分位数图通过对应分位数来比较分布,相比叠加在直方图上的曲线,它能更清楚地揭示数据与参考模型之间的偏离。
比较多个总体时,各直方图需要采用相同的组界,才能直接逐区间比较。相对频数或密度可以将分布形状与样本量区分开,而频数则保留了总量上的差异。是否归一化并无绝对的优劣:应如何选择,取决于关注的是分布形状、活动总量,还是两者兼顾。
加权直方图、自适应直方图与多维直方图
加权直方图为观测值 赋予非负权重 ,而不是对每个观测值都按相同权重计数。各组的加权总量为
当总权重为 时,密度高度为 。所得直方图的总面积为一,但它描述的是加权分布,而不是未加权的样本分布。权重可以表示重复观测次数、暴露量、总体扩展系数或数值计算中的重要性权重;这些不同含义对不确定性的影响也各不相同。
例如,调查权重可以使来自抽样比例不同的群体的观测值,反映各群体在总体中的比例。因此,加权直方图可能与按原始样本计数绘制的直方图有很大差异。然而,将权重之和视为普通的样本量来计算方差,通常并不成立。抽样设计、聚类以及权重的差异都可能影响精度。
不等宽分组或自适应分组会在不同区域采用不同的分辨率。观测值密集处可以使用窄组,稀疏处则可以使用宽组。根据经验分位数划分的等频分组,各组具有近似相等的概率质量。其密度高度与组宽成反比,因此较窄的区间意味着观测值更为集中。重复观测值可能使各组无法达到完全相同的频数,也可能产生重复的分位数边界,这些情况都必须明确处理。
对于成对观测数据,二维直方图将平面划分为矩形单元格。如果单元格 的计数为 ,水平宽度为 ,垂直宽度为 ,则其密度估计为
通常用颜色或明暗表示计数或密度。这种图形近似呈现了联合概率分布,能够揭示单独的一维直方图无法显示的集中区域和非线性关系。在网格划分和所纳入的观测值保持一致的前提下,沿一个坐标方向将单元格计数相加,即可得到边际计数。
推广到 维时,需要将空间划分为若干单元格,并用单元格体积代替区间宽度。这直接体现了维数灾难。如果六个坐标方向各分为十组,就会有 个可能的单元格。即使样本量很大,大多数单元格仍可能为空,使精细的联合直方图在统计上不稳定,也难以存储。
多维直方图还依赖于坐标轴的方向。即使底层结构很简单,沿对角线分布的狭窄集中区域也可能与许多轴对齐的单元格相交。变量变换或主成分分析或许能得到更紧凑的表示,但也会改变表达密度所用的坐标。联合直方图描述的是其指定的空间划分下的分布,而不是数据集中某种与坐标无关的性质。
算法、存储与数值实现
对于等宽分箱,计算直方图通常只需遍历一次数据。给定起点 和宽度 ,先为每个观测值计算一个暂定的分箱索引:
然后检查它是否在允许范围内,以及是否符合端点归属约定。分箱固定时,以大O记号表示,计数步骤的时间复杂度为 ,存储空间复杂度为 。对于任意一组已排序的分箱边界,二分查找可以在每个观测值 的时间内确定其所属分箱。仅仅统计固定区间内的观测值数量,并不需要对观测值排序。
如果分箱边界取决于数据,整个过程可能需要多次遍历。开始计数之前,可能必须先求出最小值、最大值、标准差或四分位数。有些汇总统计量可以增量更新,而计算精确分位数通常需要保留更多信息,或使用适当的数据结构。流式处理系统通常使用近似分位数摘要,或在预先定义的范围上维护直方图。
边界相同且权重兼容的直方图很容易合并:将对应分箱的计数相加即可。因此,直方图很适合用于并行计算,由不同处理器或计算机分别处理数据的不同部分。要实现精确合并,必须对分箱边界、端点归属约定、排除哪些值以及所用单位达成一致。基于不兼容的区间划分构建的直方图,在没有原始观测值的情况下,通常无法转换为采用同一套细粒度区间划分的直方图。
重新分箱体现了汇总过程中的信息损失。当新边界与现有边界重合时,可以精确地合并相邻的细分箱。但由于不知道现有分箱中各观测值的具体位置,拆分分箱无法做到精确。按子区间长度的比例分配原分箱计数,相当于假设该分箱内的数据服从均匀分布。这种操作得到的是近似结果,而不是恢复已经丢弃的信息。
浮点运算可能使边界处观测值的归属变得复杂。显示为某个十进制边界值的数,在存储时可能略高于或略低于该边界;反复累加十进制宽度也可能导致舍入误差累积。稳健的实现会采用一致的边界构造方法,并明确规定边界值的纳入规则。最后一个边界通常需要特殊处理,以免意外遗漏本应纳入的最大值。
缺失值、无穷值和超出范围的观测值需要分别制定处理规则。直接将它们移除而不作说明,既可能改变样本量,也可能改变归一化图示的含义。大型数据集还需要位数足够的整数计数器,以避免溢出;加权累加则可能引入浮点误差。
直方图是一种紧凑且有意舍弃部分信息的表示方式。一旦只剩下各分箱的计数,精确分位数、分箱内各个极端值以及观测值的原始顺序便可能无法恢复。这种存储上的节省,既解释了直方图在计算中的实用性,也说明了仅依据汇总结果开展后续分析的局限。
科学、工业与图像处理中的应用
在工业测量中,直方图用于描述尺寸、灌装量、运行时间及其他过程输出的分布。直方图可以显示观测值是否集中在目标值附近、是否向规格限延伸,或是否形成多个独立群组。规格限是由外部规定的要求,并不是从直方图本身估计出来的特征。将数据汇总绘制成直方图,还可能掩盖过程随时间发生的变化,因此,它提供的分布信息与按时间顺序绘制的过程图所提供的信息不同。
在物理学和光谱学中,仪器通常将事件计数累积到与所测能量、波长或其他量对应的通道中。峰可能反映了受测量系统展宽影响的物理发射特征。组距、仪器分辨率、校准和本底计数都会影响观测到的形态。数字通道划分得更细,本身并不能提高仪器的物理分辨本领。
在这类应用中,计数的不确定度尤为重要。在泊松分布计数模型下,当计数足够大且模型适用时,通常将计数 的近似不确定度取为 。这与将固定总数的样本分配到各组时采用的多项分布模型不同。应采用哪种模型,取决于观测数据的采集方式:在固定观测时段内记录数量波动的事件,与抽取固定数量的事件作为样本,并不是同一种情况。
数字图像提供了另一类用途。灰度图像直方图记录每个灰度级上有多少像素;8 位灰度图像有 256 个可能的编码值,范围为 0 到 255。这种直方图描述了色调的分配情况,却丢弃了空间排列信息。物体和纹理完全不同的图像,可能具有相同的灰度直方图。同样,分别绘制各颜色通道的直方图,也会丢失单个像素内各通道之间的大量联合信息。
直方图均衡化利用灰度的累积分布构造色调变换。理想情况下,通过累积概率对灰度值进行映射,可以将概率质量重新分配到整个输出范围。然而,在离散图像中,相同的输入灰度值会映射到相同的输出值,因此得到的直方图不一定完全均匀。局部变体则在图像的各个区域内应用类似的变换,通常还会施加约束,以限制过度的对比度增强。
直方图还可用于计算信息熵及分布差异的概括性指标。对于各组概率 ,离散熵为 。这是分组后变量的熵,并不自然等同于其背后连续量的微分熵。它的数值会随分组方式而变化。同样,基于直方图的KL散度依赖于共同的分组边界;当一个分布对某组赋予正概率质量,而另一个分布对该组赋予零概率质量时,散度可能变为无穷大。平滑处理或添加伪计数会改变这一计算结果,也构成了额外的建模选择。