探索性数据分析(exploratory data analysis,简称 EDA)是统计学中的一种分析方法,通过图形展示、数值概括和反复提问,探查数据集的结构、质量与模式。其目的包括识别异常观测、理解变量间的关系、检查假定,以及提出假设或候选模型。EDA 不以一个已完全设定的模型为起点,而是让观测数据的特征引导后续问题和分析方法的选择。它是数据科学的核心环节,与正式的统计推断相辅相成,而非取而代之。
起源与发展
探索性分析实践的历史远早于这一术语,但其现代方法与统计学家约翰·W. 图基密切相关。他在 1962 年的论文《数据分析的未来》中主张,数据分析应成为一个拥有自身实践问题的领域,其范围不应局限于数理统计。他于 1977 年出版的《探索性数据分析》确立了一套影响广泛的框架,强调图形探查、抗异常值的概括统计量、数据变换,以及对意料之外结构的发现。
图基将探索性工作与验证性分析区分开来,但并不认为二者互不相容。探索用于提出问题和暂定解释;验证则采用假定和误差性质已被充分了解的方法,评估明确提出的论断。
安斯库姆四重奏是说明图形检查重要性的一个著名例子,由弗朗西斯·安斯库姆于 1973 年提出。这四组数据的常规数值概括和拟合出的线性关系几乎完全相同,但在图形上呈现的结构却截然不同。这表明,仅凭少数几个概括性统计量,无法充分刻画一个数据集。
此后,交互式图形和计算工具将 EDA 的应用范围从小型表格和手绘图形扩展到了大型多维数据集。现代系统支持筛选、图形联动、快速汇总,以及可复现的分析文档。
目标与原则
EDA 通常围绕以下几个相互关联的问题展开:
- 数据集代表什么? 这涉及观测单位、研究所关注的总体、测量程序、计量单位和数据收集过程。
- 记录是否在内部保持一致? 需要检查的问题包括标识符重复、不可能出现的数值、类别不一致,以及日期不匹配等。
- 变量如何分布? 重要特征包括位置、离散程度、偏度、多峰性和极端值。
- 变量之间有何关系? 这些关系可能是非线性的,可能因子群而异,也可能取决于时间和情境。
- 哪些假定是合理的? 探索可以揭示与变异程度恒定、观测之间相互独立等假定不符的特征。
- 哪些问题值得进一步研究? 意料之外的模式可能促使分析者提出新模型、收集更多数据,或修改研究设计。
EDA 是一个反复迭代的过程,而不是一张固定的核对清单。一幅图可能提示需要比较不同子群;这种比较可能暴露出编码错误;纠正错误后,表面上的关系又可能发生变化。
探索也并非不依赖任何假定。变量选择、测量尺度、图形编码方式和子群定义,都会影响哪些特征能够显现出来。有效的 EDA 会明确说明这些选择,并结合数据的产生背景来解释所发现的模式。
理解与检查数据
结构与来源
初步探索需要确定记录数、变量数、变量类型,以及每一行的含义。一行可能代表一个人、一笔交易、一次仪器读数,或一个地区的汇总数据。混淆这些层级可能导致误导性的比较。
标识符以及表与表之间的关系尤其重要。合并表格时,可能无意中使观测重复,或排除未匹配的记录。对同一实体的重复测量也需要特别注意,因为这类观测通常不满足统计独立性。
数据收集程序会限制解释的范围。规模庞大的便利样本数据集仍可能存在选择偏差,而再深入的探索,也无法找回那些被系统性排除的群体的信息。
缺失情况与有效性
应按变量、记录、群体和时间检查缺失值。缺失模式可能揭示仪器故障、收集程序的变化,或参与情况的差异。还必须将缺失值与真实的零值、低于检测限的值,以及不适用的量区分开来。
仅凭观测到的模式,通常无法确定造成缺失的机制。因此,关于缺失数据插补的决策,需要依靠探索性图示之外的专业知识和假定。
有效性检查包括数值范围、计量单位、逻辑约束,以及相关字段之间的一致性。例如,温度记录若混用了两种单位制,可能使数据看起来像是来自多个总体的混合,实际上却只是处理错误。
核心技术
单变量分析
单变量探索每次考察一个变量。对于数值变量,常用的概括性统计量包括样本均值、中位数、标准差和选定的分位数。均值和标准差可能受到极端观测的强烈影响,而中位数和四分位距则更能抵抗这类影响。
直方图将观测值划分到若干区间,并展示各区间的频数或密度。其外观取决于分箱宽度和边界位置:分箱过宽可能掩盖结构,过窄则可能夸大随机波动。平滑的密度估计也类似地依赖于平滑参数的设置。
箱线图概括了中位数、四分位数,以及按特定约定表示的分布尾部。它适合用于比较群体,但可能掩盖多峰性和其他分布特征。经验累积分布图提供了另一种观察方式,无须像直方图那样进行分箱。
对于分类变量,频数和比例可以揭示主要类别、罕见类别和不一致的标签。当各组规模不同时,必须明确给出计算比例所用的分母。
双变量与条件分析
散点图展示成对的数值观测,可以揭示趋势、弯曲形态、聚集、变异程度的变化和异常点。相关关系的系数表示提供了一种简洁的数值概括,但皮尔逊相关系数描述的是线性关联,可能无法反映很强的非线性关系。
数值变量与分类变量之间的关系,可以通过分组分布、逐点展示和汇总统计表来考察。对于两个分类变量,常使用列联表、条件比例或马赛克图进行探索。
以相关变量为条件进行考察十分重要,因为总体层面的关系可能不同于各子群内部的关系。这类变化可能反映了混杂、群体构成差异,或数据生成过程的其他特征。探索中发现的关联本身并不能确立因果效应;因果推断需要额外的假定和适当的研究设计。
多变量探索
当变量较多时,散点图矩阵、相关矩阵、热图和联动图形有助于识别更广泛的结构。随着维度增加,这些方法的结果也会变得更难解释。
主成分分析构造出能够概括数据变异的方向,而聚类分析则寻找由相似观测组成的群组。两者都能辅助探索,但结果取决于尺度调整、距离度量和算法设置等选择。一个聚类并不自动构成存在某个天然独立总体的证据,而低维投影也可能掩盖重要差异。
有序数据与时间数据
对于时间序列,按照原始顺序绘制观测值,往往比仅考察其总体分布更有信息量。时间图、滞后图和季节性比较可以揭示趋势、周期、突变和序列依赖性。
汇总会改变能够观察到的特征。每日测量可能揭示被月平均值掩盖的短暂事件,而较长期的汇总则可能使被短期波动遮蔽的趋势变得清晰。不规则采样和测量程序的变化,也可能造成表面上的时间模式。
数据变换、抗异常值的概括统计量与异常观测
数据变换可以使乘法关系更便于观察,也可以减弱长尾在视觉上的主导作用。例如,对数变换会将原始尺度上的比值转化为变换后尺度上的差值。它也会改变解释方式,而且不能直接用于零值或负值。
在基于距离的分析中,尺度调整尤为重要。如果变量采用的计量单位差异很大,而分析时又未处理尺度问题,数值尺度最大的变量就可能主导结果。
稳健统计提供了对极端观测或轻度偏离假定不那么敏感的方法。一条常见的探索性规则会将下列区间之外的值标记出来:
其中, 和 分别为第一四分位数和第三四分位数,且 。
这条规则标记的是需要调查的观测,而不是必须删除的观测。异常值可能是错误,也可能是真实的罕见事件,或者是多个总体被合并在一起的迹象。同样,一个点在每个变量上单独看都可能很普通,但其取值组合却可能异常。
比较包含和不包含高影响观测时的结果,是敏感性分析的一种形式。这类比较能够揭示结果对分析选择的依赖,但其本身并不足以成为剔除数据的理由。
与建模和推断的关系
EDA 与建模常常构成一个循环。探索性发现提示可能采用的模型,而模型诊断又产生新的探索性问题。例如,在拟合线性回归后,残差图可能揭示拟合模型未能捕捉到的弯曲形态、离散程度变化或依赖关系。
探索与验证的区别,在于如何评估论断,而不只是采用了哪些技术。回归可以用于探索,图形也可以成为预先设定的验证性分析的一部分。
一个核心局限在于,由某个数据集启发的假设,已经受益于对该数据集的查看。如果像对待事先确定的假设一样,对这些假设应用常规的统计假设检验,就可能产生误导性的证据。搜索大量关系还会引发多重检验问题,即使这种搜索并不正式,或主要通过视觉完成,也不例外。
独立重复验证、预留数据,或适当考虑分析选择过程的方法,都可以加强后续评估。探索性发现仍然有用,但必须将其与那些检验独立于假设生成过程的论断区分开来。
在预测性机器学习中,如果留出数据的结果影响了特征选择、预处理或模型选择,探索同样可能损害评估的有效性。只有当评估流程考虑了相关的、依赖数据的步骤时,交叉验证才能恰当地估计预测性能。
局限性与可复现性
探索性图形可能因坐标轴截断、尺度不当、图形元素过度重叠或选择性呈现而产生误导。平滑曲线和表面上的聚类,可能反映的是图形或算法设置,而非稳定的结构。超大数据集可能使微不足道的差异在视觉上十分突出,而小数据集则可能仅凭随机波动就呈现出醒目的模式。
EDA 本身无法确立数据的代表性、证明分布假定成立,也无法弥补薄弱的实验设计。没有可见模式,并不能证明不存在关系。
可复现的探索会保留原始数据,记录数据变换与剔除操作,并说明表格和图形背后的各项选择。一份有用的分析记录,会区分已核实的数据错误、描述性发现、暂定解释,以及需要独立评估的论断。基于代码生成的报告和实行版本管理的工作流程,有助于在经历多轮迭代的研究中仍然保持这些区分。