{
  "id": "nested-cross-validation",
  "title": "嵌套交叉验证",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "嵌套交叉验证将内层验证过程置于外层评估循环中，使模型选择与性能估计相互分离。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "双重交叉验证"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/nested-cross-validation/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/nested-cross-validation/",
      "json": "https://aiwiki.page/en/nested-cross-validation.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "嵌套交叉验证是机器学习和统计学中的一种模型评估方法，通过两层交叉验证将模型选择与性能评估分离。内层负责选择模型配置，通常采用超参数优化；外层则估计整个选择与训练过程的泛化（机器学习）性能。其核心目的是避免使用促成某一配置被选中的验证结果，再来评估该配置。(scikit-learn.org)"
    },
    {
      "heading": "动机与选择偏差",
      "text": "普通交叉验证通过反复在一个数据子集上拟合模型、在另一个子集上评估模型，来估计性能。然而，在比较大量配置时，验证得分最高的配置可能部分受益于随机波动，而不一定具有真正更好的预测性能。因此，将这一最高得分作为独立的性能估计进行报告，可能使结果过于乐观。这是对选择准则的过拟合，与模型参数过度贴合训练观测值的情况不同。(jmlr.org)\n\n选择可以涉及超参数，例如正则化强度，也可以涉及模型类别和特征选择等更广泛的决策。比较支持向量机、随机森林和逻辑回归的研究，可以将所有这些备选方案纳入内层选择过程。反之，如果根据它们的外层得分决定优胜者，那么所报告的优胜者外层得分就会受到另一层选择偏差的影响。嵌套设计将选择与评估分离，但并不意味着可以不受限制地重复使用评估结果而不产生不良影响。(jmlr.org)"
    },
    {
      "heading": "双层流程",
      "text": "在常规实现中，数据集被划分为 \\(K\\) 个外层折。每一折轮流作为一次外层测试集，其余观测值则构成外层训练数据。在每个外层训练集内部，单独进行 \\(J\\) 折交叉验证，形成内层训练子集以及轮换的验证集。在整个选择过程中，外层测试折始终不参与其中。(scikit-learn.org)\n\n对于每个外层折，流程如下：\n\n- 仅使用内层折评估候选配置。\n- 选择内层汇总得分最优的配置。\n- 在整个外层训练集上重新拟合该配置。\n- 在外层测试折上对重新拟合的模型评估一次。\n\n随后汇总各个外层得分。不同外层折可能选出不同配置；所评估的对象是选择过程，而不一定是某个固定配置。(scikit-learn.org)"
    },
    {
      "heading": "数学表述",
      "text": "对于监督学习，设 \\(D=\\{(x_i,y_i)\\}_{i=1}^{n}\\)，并设 \\(I_k\\) 包含第 \\(k\\) 个外层测试折的样本索引。用 \\(D_{-k}\\) 表示其余数据。令 \\(A\\) 表示包含内层选择和重新拟合在内的完整学习过程，并定义\n\n\\[\\widehat f_k=A(D_{-k}).\\]\n\n对于逐样本计算的损失函数 \\(\\ell\\)，按样本加权的嵌套估计为\n\n\\[\\widehat R_{\\mathrm{nested}} =\\frac{1}{n}\\sum_{k=1}^{K} \\sum_{i\\in I_k} \\ell\\!\\left(y_i,\\widehat f_k(x_i)\\right).\\]\n\n该式表示对完整过程进行的外层评估。当各折大小相同时，它等于各折平均损失的算术平均值。当各折大小不同时，按折大小加权可使每个观测值具有相同权重。对于F值等非线性指标，对各折得分取平均与将预测结果合并后计算得分，所得结果未必相同。(scikit-learn.org)\n\n这一估计针对的是在外层训练集规模、即约 \\(n(K-1)/K\\) 个样本上训练的过程，而不是直接衡量在全部 \\(n\\) 个观测值上训练的最终模型。因此，将调参与测试分离，并不能保证对于所有关注的目标量都完全不存在估计量的偏差。(sklearn.org)"
    },
    {
      "heading": "预处理与数据泄漏",
      "text": "只有当所有依赖数据的操作都遵守数据划分边界时，嵌套设计才有效。特征缩放、缺失数据插补和主成分分析都必须使用相应的训练子集进行拟合，再应用于验证或测试观测值，而不能在这些观测值上重新拟合。即使模型拟合本身采用了嵌套设计，在交叉验证前使用完整数据集选择特征，仍会引入数据泄漏（机器学习）。(scikit-learn.org)\n\n处理流水线将数据变换与模型估计整合在一起，使每个内层训练折都独立拟合其预处理步骤。选择完成后，整个流水线会在外层训练集上重新拟合。外层测试观测值不得用于确定变换参数、特征选择或其他通过学习得到的组成部分。(scikit-learn.org)\n\n划分策略也决定了评估的含义。当观测值具有足够的独立性和可交换性时，适合采用随机分折。如果目标是评估模型在未见过的群组上的表现，则应采用考虑群组的划分方式，将相关观测值保留在同一组中。对于时间序列，按时间顺序划分可以评估利用较早观测值预测较晚观测值的能力。这些约束适用于嵌套结构的两个层级。(sklearn.org)"
    },
    {
      "heading": "计算成本与不确定性",
      "text": "在有 \\(K\\) 个外层折、\\(J\\) 个内层折和 \\(M\\) 个候选配置的情况下，穷举选择大约需要 \\(KJM\\) 次候选模型拟合，以及 \\(K\\) 次外层重新拟合。这一数量直接来自对每个外层折重复执行内层搜索。并行计算可以缩短实际运行时间，但不会消除这些拟合所需的计算工作量。(scikit-learn.org)\n\n外层得分会随划分方式而变化，但由于各训练集相互重叠，这些得分并不是独立的重复测量。因此，它们的标准差不能直接视为汇总估计的有效标准误。若在计算置信区间时将各折得分视为相互独立，就可能低估不确定性。Bengio 和 Grandvalet 证明，对于普通 \\(K\\) 折交叉验证，不存在普遍适用的无偏方差估计量。(jmlr.org)"
    },
    {
      "heading": "最终拟合与报告",
      "text": "评估完成后，可以在完整的开发数据集上运行同一套预先规定的选择流程，再使用所有可用的开发观测值重新拟合所选配置。嵌套交叉验证得分仍然是对该流程性能的估计，而不是对最终拟合模型进行的新测量。单独预留的测试集只有在未受到开发决策影响的情况下，才能提供另一项评估。(scikit-learn.org)\n\n为保证可复现性，评估说明应记录内外两层的划分方案、候选配置、评分与汇总规则、预处理步骤、随机种子以及重新拟合方式。这些细节明确了所报告的外层得分实际评估的是哪一种选择流程。(sklearn.org)"
    }
  ],
  "links": [
    "machine-learning",
    "statistics",
    "cross-validation",
    "hyperparameter-optimization",
    "generalization",
    "overfitting",
    "hyperparameter",
    "regularization",
    "feature-selection",
    "support-vector-machine",
    "random-forest",
    "logistic-regression",
    "test-set",
    "training-data",
    "validation-set",
    "supervised-learning",
    "loss-function",
    "f-score",
    "estimator-bias",
    "feature-scaling",
    "missing-data-imputation",
    "principal-component-analysis",
    "data-leakage",
    "time-series",
    "parallel-computing",
    "standard-deviation",
    "standard-error",
    "confidence-interval",
    "reproducibility"
  ],
  "sources": [
    {
      "title": "scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validat…",
      "url": "https://scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validation_iris.html"
    },
    {
      "title": "jmlr.org/beta/papers/v11/cawley10a.html",
      "url": "https://www.jmlr.org/beta/papers/v11/cawley10a.html"
    },
    {
      "title": "sklearn.org/stable/modules/cross_validation.html",
      "url": "https://sklearn.org/stable/modules/cross_validation.html"
    },
    {
      "title": "scikit-learn.org/stable/common_pitfalls.html",
      "url": "https://scikit-learn.org/stable/common_pitfalls.html?highlight=linearregression"
    },
    {
      "title": "jmlr.org/papers/v5/grandvalet04a.html",
      "url": "https://www.jmlr.org/papers/v5/grandvalet04a.html"
    },
    {
      "title": "scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV",
      "url": "https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}