{
  "id": "exploratory-data-analysis",
  "title": "探索性数据分析",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "探索性数据分析通过可视化、数值概括和反复探查来理解数据、发现问题，并在正式建模之前或同时提出假设。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "EDA",
    "探索性分析"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/exploratory-data-analysis/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/exploratory-data-analysis/",
      "json": "https://aiwiki.page/en/exploratory-data-analysis.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "探索性数据分析（exploratory data analysis，简称 EDA）是统计学中的一种分析方法，通过图形展示、数值概括和反复提问，探查数据集的结构、质量与模式。其目的包括识别异常观测、理解变量间的关系、检查假定，以及提出假设或候选模型。EDA 不以一个已完全设定的模型为起点，而是让观测数据的特征引导后续问题和分析方法的选择。它是数据科学的核心环节，与正式的统计推断相辅相成，而非取而代之。"
    },
    {
      "heading": "起源与发展",
      "text": "探索性分析实践的历史远早于这一术语，但其现代方法与统计学家约翰·W. 图基密切相关。他在 1962 年的论文《数据分析的未来》中主张，数据分析应成为一个拥有自身实践问题的领域，其范围不应局限于数理统计。他于 1977 年出版的《探索性数据分析》确立了一套影响广泛的框架，强调图形探查、抗异常值的概括统计量、数据变换，以及对意料之外结构的发现。\n\n图基将探索性工作与验证性分析区分开来，但并不认为二者互不相容。探索用于提出问题和暂定解释；验证则采用假定和误差性质已被充分了解的方法，评估明确提出的论断。\n\n安斯库姆四重奏是说明图形检查重要性的一个著名例子，由弗朗西斯·安斯库姆于 1973 年提出。这四组数据的常规数值概括和拟合出的线性关系几乎完全相同，但在图形上呈现的结构却截然不同。这表明，仅凭少数几个概括性统计量，无法充分刻画一个数据集。\n\n此后，交互式图形和计算工具将 EDA 的应用范围从小型表格和手绘图形扩展到了大型多维数据集。现代系统支持筛选、图形联动、快速汇总，以及可复现的分析文档。"
    },
    {
      "heading": "目标与原则",
      "text": "EDA 通常围绕以下几个相互关联的问题展开：\n\n- 数据集代表什么？ 这涉及观测单位、研究所关注的总体、测量程序、计量单位和数据收集过程。\n- 记录是否在内部保持一致？ 需要检查的问题包括标识符重复、不可能出现的数值、类别不一致，以及日期不匹配等。\n- 变量如何分布？ 重要特征包括位置、离散程度、偏度、多峰性和极端值。\n- 变量之间有何关系？ 这些关系可能是非线性的，可能因子群而异，也可能取决于时间和情境。\n- 哪些假定是合理的？ 探索可以揭示与变异程度恒定、观测之间相互独立等假定不符的特征。\n- 哪些问题值得进一步研究？ 意料之外的模式可能促使分析者提出新模型、收集更多数据，或修改研究设计。\n\nEDA 是一个反复迭代的过程，而不是一张固定的核对清单。一幅图可能提示需要比较不同子群；这种比较可能暴露出编码错误；纠正错误后，表面上的关系又可能发生变化。\n\n探索也并非不依赖任何假定。变量选择、测量尺度、图形编码方式和子群定义，都会影响哪些特征能够显现出来。有效的 EDA 会明确说明这些选择，并结合数据的产生背景来解释所发现的模式。"
    },
    {
      "heading": "理解与检查数据",
      "text": "结构与来源\n\n初步探索需要确定记录数、变量数、变量类型，以及每一行的含义。一行可能代表一个人、一笔交易、一次仪器读数，或一个地区的汇总数据。混淆这些层级可能导致误导性的比较。\n\n标识符以及表与表之间的关系尤其重要。合并表格时，可能无意中使观测重复，或排除未匹配的记录。对同一实体的重复测量也需要特别注意，因为这类观测通常不满足统计独立性。\n\n数据收集程序会限制解释的范围。规模庞大的便利样本数据集仍可能存在选择偏差，而再深入的探索，也无法找回那些被系统性排除的群体的信息。\n\n缺失情况与有效性\n\n应按变量、记录、群体和时间检查缺失值。缺失模式可能揭示仪器故障、收集程序的变化，或参与情况的差异。还必须将缺失值与真实的零值、低于检测限的值，以及不适用的量区分开来。\n\n仅凭观测到的模式，通常无法确定造成缺失的机制。因此，关于缺失数据插补的决策，需要依靠探索性图示之外的专业知识和假定。\n\n有效性检查包括数值范围、计量单位、逻辑约束，以及相关字段之间的一致性。例如，温度记录若混用了两种单位制，可能使数据看起来像是来自多个总体的混合，实际上却只是处理错误。"
    },
    {
      "heading": "核心技术",
      "text": "单变量分析\n\n单变量探索每次考察一个变量。对于数值变量，常用的概括性统计量包括样本均值、中位数、标准差和选定的分位数。均值和标准差可能受到极端观测的强烈影响，而中位数和四分位距则更能抵抗这类影响。\n\n直方图将观测值划分到若干区间，并展示各区间的频数或密度。其外观取决于分箱宽度和边界位置：分箱过宽可能掩盖结构，过窄则可能夸大随机波动。平滑的密度估计也类似地依赖于平滑参数的设置。\n\n箱线图概括了中位数、四分位数，以及按特定约定表示的分布尾部。它适合用于比较群体，但可能掩盖多峰性和其他分布特征。经验累积分布图提供了另一种观察方式，无须像直方图那样进行分箱。\n\n对于分类变量，频数和比例可以揭示主要类别、罕见类别和不一致的标签。当各组规模不同时，必须明确给出计算比例所用的分母。\n\n双变量与条件分析\n\n散点图展示成对的数值观测，可以揭示趋势、弯曲形态、聚集、变异程度的变化和异常点。相关关系的系数表示提供了一种简洁的数值概括，但皮尔逊相关系数描述的是线性关联，可能无法反映很强的非线性关系。\n\n数值变量与分类变量之间的关系，可以通过分组分布、逐点展示和汇总统计表来考察。对于两个分类变量，常使用列联表、条件比例或马赛克图进行探索。\n\n以相关变量为条件进行考察十分重要，因为总体层面的关系可能不同于各子群内部的关系。这类变化可能反映了混杂、群体构成差异，或数据生成过程的其他特征。探索中发现的关联本身并不能确立因果效应；因果推断需要额外的假定和适当的研究设计。\n\n多变量探索\n\n当变量较多时，散点图矩阵、相关矩阵、热图和联动图形有助于识别更广泛的结构。随着维度增加，这些方法的结果也会变得更难解释。\n\n主成分分析构造出能够概括数据变异的方向，而聚类分析则寻找由相似观测组成的群组。两者都能辅助探索，但结果取决于尺度调整、距离度量和算法设置等选择。一个聚类并不自动构成存在某个天然独立总体的证据，而低维投影也可能掩盖重要差异。\n\n有序数据与时间数据\n\n对于时间序列，按照原始顺序绘制观测值，往往比仅考察其总体分布更有信息量。时间图、滞后图和季节性比较可以揭示趋势、周期、突变和序列依赖性。\n\n汇总会改变能够观察到的特征。每日测量可能揭示被月平均值掩盖的短暂事件，而较长期的汇总则可能使被短期波动遮蔽的趋势变得清晰。不规则采样和测量程序的变化，也可能造成表面上的时间模式。"
    },
    {
      "heading": "数据变换、抗异常值的概括统计量与异常观测",
      "text": "数据变换可以使乘法关系更便于观察，也可以减弱长尾在视觉上的主导作用。例如，对数变换会将原始尺度上的比值转化为变换后尺度上的差值。它也会改变解释方式，而且不能直接用于零值或负值。\n\n在基于距离的分析中，尺度调整尤为重要。如果变量采用的计量单位差异很大，而分析时又未处理尺度问题，数值尺度最大的变量就可能主导结果。\n\n稳健统计提供了对极端观测或轻度偏离假定不那么敏感的方法。一条常见的探索性规则会将下列区间之外的值标记出来：\n\n\\[[Q_1-1.5\\,\\mathrm{IQR},\\;Q_3+1.5\\,\\mathrm{IQR}],\\]\n\n其中，\\(Q_1\\) 和 \\(Q_3\\) 分别为第一四分位数和第三四分位数，且 \\(\\mathrm{IQR}=Q_3-Q_1\\)。\n\n这条规则标记的是需要调查的观测，而不是必须删除的观测。异常值可能是错误，也可能是真实的罕见事件，或者是多个总体被合并在一起的迹象。同样，一个点在每个变量上单独看都可能很普通，但其取值组合却可能异常。\n\n比较包含和不包含高影响观测时的结果，是敏感性分析的一种形式。这类比较能够揭示结果对分析选择的依赖，但其本身并不足以成为剔除数据的理由。"
    },
    {
      "heading": "与建模和推断的关系",
      "text": "EDA 与建模常常构成一个循环。探索性发现提示可能采用的模型，而模型诊断又产生新的探索性问题。例如，在拟合线性回归后，残差图可能揭示拟合模型未能捕捉到的弯曲形态、离散程度变化或依赖关系。\n\n探索与验证的区别，在于如何评估论断，而不只是采用了哪些技术。回归可以用于探索，图形也可以成为预先设定的验证性分析的一部分。\n\n一个核心局限在于，由某个数据集启发的假设，已经受益于对该数据集的查看。如果像对待事先确定的假设一样，对这些假设应用常规的统计假设检验，就可能产生误导性的证据。搜索大量关系还会引发多重检验问题，即使这种搜索并不正式，或主要通过视觉完成，也不例外。\n\n独立重复验证、预留数据，或适当考虑分析选择过程的方法，都可以加强后续评估。探索性发现仍然有用，但必须将其与那些检验独立于假设生成过程的论断区分开来。\n\n在预测性机器学习中，如果留出数据的结果影响了特征选择、预处理或模型选择，探索同样可能损害评估的有效性。只有当评估流程考虑了相关的、依赖数据的步骤时，交叉验证才能恰当地估计预测性能。"
    },
    {
      "heading": "局限性与可复现性",
      "text": "探索性图形可能因坐标轴截断、尺度不当、图形元素过度重叠或选择性呈现而产生误导。平滑曲线和表面上的聚类，可能反映的是图形或算法设置，而非稳定的结构。超大数据集可能使微不足道的差异在视觉上十分突出，而小数据集则可能仅凭随机波动就呈现出醒目的模式。\n\nEDA 本身无法确立数据的代表性、证明分布假定成立，也无法弥补薄弱的实验设计。没有可见模式，并不能证明不存在关系。\n\n可复现的探索会保留原始数据，记录数据变换与剔除操作，并说明表格和图形背后的各项选择。一份有用的分析记录，会区分已核实的数据错误、描述性发现、暂定解释，以及需要独立评估的论断。基于代码生成的报告和实行版本管理的工作流程，有助于在经历多轮迭代的研究中仍然保持这些区分。"
    }
  ],
  "links": [
    "statistics",
    "data-science",
    "statistical-independence",
    "selection-bias",
    "missing-data-imputation",
    "sample-mean",
    "median",
    "standard-deviation",
    "quantile",
    "histogram",
    "density-estimation",
    "box-plot",
    "scatter-plot",
    "correlation",
    "confounding",
    "causal-inference",
    "principal-component-analysis",
    "cluster-analysis",
    "time-series",
    "sensitivity-analysis",
    "linear-regression",
    "statistical-hypothesis-testing",
    "multiple-testing",
    "machine-learning",
    "cross-validation",
    "experimental-design"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}