核密度估计是一种密度估计方法,用于根据观测数据构造平滑的概率密度函数。每个观测值都对应一个称为核的局部函数,将这些函数取平均,即可估计数据背后的分布。与拟合正态分布等指定分布族的方法不同,核密度估计不假定总体密度具有固定的有限维形式,因此是非参数统计中的一项核心技术。
该方法用于揭示分布的形状,包括不对称性、多个峰以及概率密度相对较高或较低的区域。其主要调节参数是带宽,它决定了能够分辨分布结构的尺度。较小的带宽能保留细节,但会放大抽样噪声;较大的带宽能抑制噪声,却可能抹去真实特征。这种权衡将核密度估计与统计平滑、数值近似及正则化联系起来。
尽管相关的平滑构造更早就已出现,现代核密度估计理论的发展尤其得益于默里·罗森布拉特于1956年和伊曼纽尔·帕尔森于1962年开展的工作。后续研究确立了误差收敛速率、自动带宽选择方法、多元推广、边界校正以及高效计算方法。由此形成的框架既支持探索性可视化,也支持更正式的统计分析程序。
构造与概率解释
设 是来自实数轴上某个连续分布的观测值,该分布的密度 未知。标准的核密度估计量为
其中, 为核函数, 为带宽。对于通常的非负密度估计量,核函数满足
这些条件保证 非负且积分为一。核函数通常关于零对称,但定义并不要求这一点。因子 保证每一项在横向尺度发生变化时,其曲线下的面积保持不变。
例如,采用高斯核时,每个观测值都被替换为一个以该观测值为中心、标准差为 的正态密度。因此,得到的估计是由 个正态分量构成的等权混合。这与高斯混合模型相似,但两者的拟合问题不同:标准核估计将各分量的中心固定在观测值处,并为它们指定相同的带宽;而拟合混合模型时,通常需要估计各分量的位置、权重和尺度。
一种等价的表述使用经验概率测度 ,它在每个观测值处赋予 的概率质量。定义 ,则该估计可写为如下卷积:
因此,估计量对随机样本信息取平均,而它的期望值则是总体密度的平滑版本。这一区别解释了为什么一个看起来平滑的估计仍可能与目标密度存在系统性偏差。
核估计还可以与经验累积分布函数联系起来。若
则平滑后的分布函数为
在可以求导的条件下,其导数就是 。区间概率的估计应通过对密度积分获得,而不能将密度曲线的高度解释为概率。
与直方图相比,核估计不依赖于固定的分箱起点。直方图将观测值分配到互不重叠的区间中;核估计量则使用以各观测值本身为中心、彼此重叠的邻域。两种方法都需要选择平滑尺度,也都不能自动区分总体结构与有限样本带来的波动。核密度曲线外观平滑,是其构造方式的结果,并不意味着每个可见特征都有统计依据。
核函数与平滑的含义
常见核函数在支撑集、可微性和计算便利性方面各有不同。高斯核为
它处处为正,且无穷次可微。均匀核在一个固定区间内赋予恒定权重,
其中, 是示性函数。三角核的值向其支撑集边缘线性递减。Epanechnikov核为
其他具有紧支撑的核还包括双权核和三权核,它们由 的更高次幂构成。
一个有用的区分是:核函数表达式中的带宽参数并不等同于其实际展宽程度。若核函数的二阶矩有限,即
那么,在核函数均值为零的前提下,以某个观测值为中心的核贡献项的方差为 。因此,即使 的数值相同,高斯核与Epanechnikov核的展宽程度也不同。要进行有意义的比较,就应将核的方差标准化,或明确将这一差异纳入考虑。
通常,带宽的影响远大于常规核函数的具体形状。将高斯核替换为经过适当尺度调整的紧支撑核,往往只会使估计结果略有变化;而将带宽减半,则可能显著改变曲线上呈现的峰的数量。不过,核函数的选择仍会影响可微性、尾部行为、计算成本,以及渐近误差公式中的常数。
借助傅里叶变换,可以对核平滑作出格外清晰的解释。若 的傅里叶变换为 ,那么平滑就相当于将每个频率分量乘以 。对于高斯核,这一乘子为
高频变化受到的衰减强于低频变化。因此,增大 会逐步滤除尺度更大的起伏,而不只是让已有曲线在外观上显得更平滑。
高斯平滑也与热方程有关。从经验测度出发,将其与方差为 的正态密度卷积,就得到满足下式的热流:
带宽为 的高斯核估计对应于时刻 。这一联系赋予了带宽作为扩散尺度的数学解释。
在一维情形下,只要满足通常的正则性条件,增大高斯核带宽就不会产生新的局部极值。随着平滑尺度增大,峰可能合并或消失。这一性质是尺度空间方法的基础,此类方法考察哪些特征能在不同带宽下持续存在。但这并不意味着每个持续存在的峰都对应一个独立的数据生成总体;在更高维度中作出类似论断,也需要更加谨慎。
偏差、方差与收敛速率
误差产生的根本机制是偏差-方差权衡。较窄的核只利用较小邻域内的观测值,因此抽样变异较大。较宽的核则在更大范围内取平均,但会模糊真实密度中的变化。标准理论通过局部光滑性假设来量化这些效应。
假设 具有足够规则的导数, 对称且二阶矩有限。在远离支撑集边界的位置,通过泰勒级数展开可得
偏差的主导项取决于曲率。在光滑峰值附近,,平滑通常会降低估计的峰高。在曲率为正的谷底附近,平滑则通常会抬高估计值。在线性区段上,偏差中由二阶曲率引起的主导项为零。
记
当 且 时,方差的主导项为
其中, 反映了不断缩小的邻域内可利用的有效样本信息量,不过实际的局部信息量还取决于 。
一种常用的全局评价准则是平均积分平方误差,
在适当的可积性和光滑性条件下,其主导项近似为
这是均方误差分解的积分形式。将这一近似式最小化可得
因此,最优带宽的阶为 ,相应的积分平方误差的阶为 。未知的曲率泛函 是直接使用这一表达式的主要障碍。
相合性要求带宽不断缩小,同时局部信息量不断增加。在 的连续点处,常见的充分条件包括 、,以及对核函数的适当假设。一致收敛等更强的结论需要额外的控制条件;许多标准结果中都会出现涉及 的条件。
这些速率也说明了该方法的局限性。常见的 速率以二阶光滑性和积分平方误差损失为前提,并非适用于所有密度或推断目标的普遍速率。导数的估计更为困难,边界会改变偏差的主导项,而不光滑或不连续的密度则需要采用不同的局部分析方法。对于更光滑的目标函数,高阶核可以减小偏差的主导项,但这类核通常包含负权重,并可能产生负的密度估计值。
带宽选择
选择带宽是核估计在实际应用中最主要的统计问题。带宽的选择应结合具体目的来理解:重建整个密度、确定众数位置、估计尾部概率以及估计密度导数,所适合的平滑尺度未必相同。自动选择方法通常会针对其中某一目标,优化一个指定的替代准则。
一种经典的参考法则假设未知密度服从正态分布,并采用高斯核。将其代入渐近最优公式可得
其中, 用于估计总体标准差。一种广泛使用的稳健经验法则为
其中,四分位距是上四分位数与下四分位数之差。式中的常数使得在近似正态分布的情况下,该尺度估计值可与标准差相比较。
参考法则计算成本低,对于单峰分布往往很有用,但它们隐含了对分布形状的较强近似假设。由彼此分离的狭窄成分构成的混合分布,即使局部特征十分尖锐,整体标准差也可能很大。此时,按正态参考法则选出的带宽可能会将不同的峰合并。重尾和个别极端观测值也会使整体尺度的估计变得复杂,不过,以四分位距为基础的尺度可以降低对极端值的敏感性。
交叉验证利用数据估计预测表现或积分误差表现。最小二乘交叉验证采用以下准则:
其中, 不包含第 个观测值。在通常的抽样假设下,该准则的期望等于平均积分平方误差(MISE)减去常数 。剔除该观测值,可以避免其自身的核贡献使准则不恰当地偏好极小带宽。不过,这一准则仍可能不平滑、波动较大,并存在多个局部极小值。
似然交叉验证则最大化
它侧重于预测对数密度,与 KL散度有关。其表现不同于平方误差交叉验证:即使只有少数观测值被赋予很低的密度,也可能产生显著影响;而使用紧支撑核时,留一法得到的密度值可能为零。
代入式带宽选择法会估计 AMISE 表达式中的未知曲率量,通常借助初步的密度导数估计来完成。1991 年发表的 Sheather–Jones 方法就是一个有影响力的例子。与直接采用最小二乘交叉验证相比,这类方法通常能使带宽选择更稳定,但也引入了对初步平滑参数的选择和正则性假设。
软件给出的数值必须结合其参数化方式来解释。一种实现可能接受以测量单位表示的带宽,另一种则可能接受样本尺度或协方差因子的无量纲倍数。因此,参数名称相同并不意味着平滑效果相同。对带宽进行优化时也需谨慎,因为目标函数可能在多个尺度上呈现重要特征,而非只有一个性态良好的极小值。
多元估计与维数
对于观测值 ,核密度估计通过将区间替换为多元邻域,推广到欧几里得空间。其一般形式使用对称正定矩阵 作为带宽矩阵:
这里, 表示行列式。按照这一约定, 表示平滑尺度的平方。若基础核为标准多元正态密度,则每个核分量的协方差矩阵均为 。
最简单的选择是 ,对应各向同性平滑。对角矩阵允许为每个坐标分别设置带宽,但核的各轴仍与坐标轴对齐。完整矩阵则可以表示经过旋转、呈拉长形状的邻域,并适应变量之间的线性关联。这种灵活性的代价是需要估计 个不同的矩阵元素。
测量尺度尤为重要。假设一个坐标记录以米为单位的距离,另一个坐标记录以秒为单位的时长。对两者采用数值相同的带宽,其含义会随单位选择而改变。标准化、基于协方差的变换,或根据具体领域知识进行的尺度调整,都可以用来定义更合适的邻域。将密度变换回原始坐标时,需要引入变量替换所对应的行列式因子。
在满足二阶光滑性条件且采用标量带宽缩放时,积分方差的主导项为 量级,而积分平方偏差为 量级。平衡这两项可得
符号 表示忽略常数因子后具有相同的阶。这些速率体现了维数灾难:随着维数增加,在每个坐标方向上都很窄的邻域所包含的概率质量会越来越少。在这一渐近比较中,即使尚未计入依赖于维数的常数,要使误差减半,样本量也需要增加到原来的 量级倍。
降维可能改变问题本身,而不仅仅是加快求解速度。主成分分析能够识别方差较大的方向,但方差较小的方向仍可能对密度形状至关重要。舍弃部分坐标后,估计的是保留子空间上的边缘分布,而不是原来的联合密度。如果观测值分布在某个较低维流形附近,那么在环境空间中进行核密度估计,可能会将分辨能力浪费在内在变化很小的方向上。
多元估计通常以二维等高线图或曲面图展示。更高维的可视化通常展示边缘分布或条件分布的切片,而这些图所回答的问题并不相同。将多元高斯核估计对不需要的坐标积分,就能得到使用相应协方差子矩阵的边缘核估计。条件密度则可以通过联合密度估计除以边缘密度估计来构造,但在给定条件的变量观测到的概率质量很小的区域,这一比值会变得不稳定。
边界、变换与自适应带宽
普通的对称核并不遵守支撑集的限制。如果变量非负,以接近零的点为中心的高斯核仍会将一部分概率分配给负值。更重要的是,支撑集边界之外没有观测值,这会使局部平均所依据的推理失效。在密度为正的有限边界处,即使带宽不断缩小,由此产生的偏差仍可能保持为常数量级。
对于支撑集 ,反射法将每个观测值替换为分别以 和 为中心的两项贡献。在非负半轴上,
对于对称的密度核,这一估计在该半轴上的积分为一。反射法消除了基本的概率泄漏问题,但也强加了局部偶对称延拓。如果真实密度在零点的单侧导数非零,仍可能存在 阶的边界偏差。因此,反射法并不总能实现二阶偏差校正。
另一种策略是将数据变换到不受限制的定义域上。对于正值数据,令 ,并估计其密度 。反变换后得到的估计为
因子 来自基于雅可比矩阵的变量替换法则。在对数尺度上进行平滑,大致相当于在原变量中采用乘法尺度的邻域。其他变换可用于处理有界区间,但它们也可能在端点附近引入新的困难。
边界核和局部多项式方法会根据距边界的距离调整权重。它们能够满足适用于单侧邻域的矩条件。有些构造使用负权重,因此偏差校正可能以牺牲非负性为代价。基于贝塔分布或伽马分布的非对称核,则为有界定义域或正值定义域提供了另一种处理方法。
自适应带宽估计允许平滑程度随样本空间中的位置变化。一种样本点估计量为
每一项的积分均为一,因此整体估计仍保持归一化。可以利用初步估计,在数据密集区域设置较小的 ,在数据稀疏区域设置较大的 。Abramson 于 1982 年提出的平方根法则采用局部正比于 的带宽,实际应用时通常使用初步估计,并通过修正来控制极端带宽。
气球估计量则让带宽取决于求值点 。它可以方便地适应局部邻域,但如果不作进一步调整,其积分通常不等于一。因此,这两种自适应构造不能互相替代。
非欧几里得支撑集需要采用与之相适应的几何结构。圆周数据需要周期性平滑,例如使用缠绕核,而不是将接近零和 的角度视为相距很远。受海岸线或行政边界约束的空间密度,同样可能需要在归一化时考虑支撑集。在这些情形下,支撑集限制是统计模型的一部分,而不仅仅是绘图细节。
计算与数值实现
在 个位置直接求值,需要进行 次核函数求值;用大O记号表示,其计算量为 。对于中等规模的单变量样本,这通常已经够用。但面对大型数据集、多变量网格、带宽搜索和反复重采样时,这种直接计算方式的成本可能很高。
对于等间距网格,分箱和卷积是重要的加速手段。首先,将观测值分配到邻近的网格点,形成近似的经验概率质量数组。随后,将该数组与离散化的核函数进行卷积,得到网格上的密度估计。对于包含 个网格点的网格,除分箱成本外,快速傅里叶变换可将卷积的计算成本降至约 。
傅里叶加速会带来有别于统计平滑的数值问题。除非对数组进行适当的填充,否则离散卷积就是循环卷积;填充不足可能使网格一端的密度绕回另一端。此外,网格相对于带宽必须足够精细,才能分辨核函数的形状。即使所用的统计公式本身适当,在粗网格上使用较窄的带宽,仍可能得到不准确的曲线。
对于具有紧支撑的核函数,可以直接跳过固定距离之外的贡献,而不引入误差。基于树的算法将观测值组织为空间分组,从而能够排除远处的分组,或近似计算其总体贡献。高斯核的支撑集无限,因此截断时需要设定误差容限,而不能采用严格无误差的截断界限。这些方法在高维空间中的效果会减弱,因为此时更难高效地区分几何邻域。
对于加权样本,采用
权重可以表示观测频数、抽样调整或重要性权重。权重的含义很重要:包含多个重复取值的独立观测的数据集,在统计上并不等同于仅有少量观测、却被赋予极不均等的重要性权重的数据集。量 常被用作有效样本量的概括指标,但它无法涵盖所有依赖关系或抽样设计效应。
在计算极小密度值的对数时,数值稳定性十分重要。对于高斯核,即使对数密度值仍有意义,尾部的单个项也可能发生下溢。采用 log-sum-exp 方法,可以在不先直接表示每一个微小贡献的情况下,计算核函数之和的对数。极小的带宽还可能导致似然值剧烈变化,使优化变得困难。
重复观测值也是实际应用中需要关注的问题。经过舍入或离散化的测量数据可能包含大量相同值,因此,极小的带宽揭示的可能是记录数据时的离散刻度,而非连续总体的结构。拟合得到的密度在数学上仍有定义,但如何解释它,取决于用连续潜变量建模是否合适。
不同软件实现在核函数归一化、带宽选择规则、加权方式、网格延伸和边界处理方面各有差异。因此,要复现某个估计结果,仅给出软件包名称还不够:核函数、带宽约定、数据变换、求值区域以及任何近似计算的容差,都是方法的一部分。
统计推断与应用
核密度估计广泛用于展示分布,但要对未知密度进行推断,必须同时考虑抽样变异和平滑偏差。估计曲线周围的一条窄带,并不一定是总体密度的有效置信区间。它所描述的可能只是平滑目标 周围的不确定性。
在密度为正的某个固定内部点处,标准假设下可得到如下形式的中心极限定理:
若要以 而非期望值为中心,就需要控制偏差。对于二阶核,经过尺度变换的主导偏差项的阶为 。当带宽与 成正比、达到平均积分平方误差(MISE)最优时,该项通常不会趋于零。欠平滑或显式偏差校正可以解决这一问题,但两者都需要额外条件,也各有代价。
自助采样方法可以近似评估变异性,并用于构造置信带。不过,仅从经验分布中重采样并不能消除平滑偏差。覆盖某一区间的同时置信带还需要针对最大偏差进行校准,而不能简单地将逐点区间拼在一起。边界、稀疏的尾部以及依赖数据的带宽选择,都会进一步影响覆盖率。
密度的众数可用于聚类分析。对于采用各向同性带宽的高斯核,驻点满足
相应的均值漂移迭代会反复用这一加权局部均值替换当前位置。该方法寻找估计密度的驻点区域,并可按观测值所关联的众数将其分组。得到的聚类依赖于带宽,而收敛到某个驻点,并不能证明该驻点代表一个独立的总体类别。
空间应用包括根据记录的位置估计动物的空间利用分布,以及绘制事件的空间集中分布图。连续追踪观测之间的依赖性会影响不确定性和带宽选择。此外,归一化的位置密度描述的是已记录事件的分布,并不一定反映相对于暴露人群的风险或事件强度。观测投入不均,即使底层过程没有变化,也可能改变估计出的分布格局。
核估计还用于分类、异常评分,以及信息论量的估计。较低的估计密度可以提示观测值异常,但其解释取决于尺度和维度。熵或散度的代入估计对尾部行为以及较小估计值的对数尤其敏感。
测量误差会引出一种更困难的变体,即反卷积密度估计。如果观测值等于潜在值加上独立噪声,且误差分布已知,那么普通核估计所估计的是含噪观测值的密度。要恢复潜在密度,就需要消除卷积的影响,通常是在傅里叶域中通过除法实现。由于这一操作可能放大高频噪声,因此该问题是一个逆问题,其所能达到的精度在很大程度上取决于误差分布。