{
  "id": "model-collapse",
  "title": "模型坍塌",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "模型坍塌是指机器学习模型反复使用前代模型的输出训练时，保真度或多样性逐渐下降的现象。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "模型崩溃"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/model-collapse/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/model-collapse/",
      "json": "https://aiwiki.page/en/model-collapse.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "模型坍塌是机器学习中的一种失效过程：模型反复使用前代模型生成的数据进行训练，逐渐丢失关于原始数据分布的信息。在一代代模型中，罕见事件可能越来越难以得到充分体现，输出可能日益同质化，也可能出现统计失真，从而降低模型的实用性。这一概念与生成式人工智能尤其相关，包括语言生成和图像生成，但也可能出现在更简单的统计模型中。这并不意味着每次使用生成数据进行训练都会导致退化：结果取决于数据如何生成、筛选、保留，以及如何与独立获取的观测数据相结合。"
    },
    {
      "heading": "定义与范围",
      "text": "生成模型从训练数据中学习对某个概率分布的近似。随后，其输出可能成为另一个模型的训练样本，这既可能是有意为之，也可能是因为生成内容被纳入了更大的数据集合。当这一过程反复进行时，某一代模型中的偏差就可能影响后续各代可用的数据。\n\n模型坍塌关注的是这一过程导致的、对原始分布的保真度下降。“坍塌”不一定意味着突然失效，也不一定意味着输出完全不知所云。模型可能仍能流畅表达，在常见样本上表现尚可，却逐渐丧失对罕见情况的覆盖能力。更严重的退化最终也可能波及普通样本。\n\n这个术语通常描述的是连续多轮训练或多代模型中的变化过程，而不是某一次质量低下的回答。各代模型不必具有相同的架构，模型也不必真的用自己的输出训练。使用其他模型的输出进行训练，也可能形成类似的反馈循环。\n\n相关系统包括大语言模型、扩散模型及其他通过学习构建的生成器。它们的失效模式各有不同，因此，与其将模型坍塌视为一种普遍适用的单一演变轨迹，不如将其理解为一组相互关联的现象。"
    },
    {
      "heading": "递归训练如何导致信息丢失",
      "text": "有限采样与罕见事件\n\n生成数据集是有限的样本集合，并不能完整呈现模型所学到的分布。因此，即使生成器对罕见事件的表征相当准确，这些事件仍可能从数据集中消失。\n\n如果一个事件的概率为 \\(p\\)，那么它在 \\(n\\) 个独立样本中一次也不出现的概率为\n\n\\[(1-p)^n.\\]\n\n当 \\(p\\) 足够小时，即使数据集规模可观，遗漏该事件的可能性仍然很高。如果下一个模型只从这个数据集中学习，就可能为该事件赋予更低的概率，甚至完全无法表征它。反复采样和重新训练可能使这种信息损失不断累积。\n\n这一机制有助于解释，为什么在常见模式出现明显变化之前，低概率区域——即分布的尾部——就可能先发生退化。一旦某些信息同时从模型及其训练材料中消失，再增加几代采样也无法可靠地将其重建。\n\n近似误差与训练误差\n\n采样只是失真的来源之一。由于容量有限、归纳偏置、优化不充分，或所选损失函数的影响，模型可能无法精确表征目标分布。因此，在抽取生成样本之前，学得的分布就已经与源分布存在差异。\n\n在递归训练中，这些差异会影响下一代模型的输入。有些误差可能减小，另一些则可能持续存在或扩大。并不存在“所有误差都会单调增大”的普遍规律，但反复依据不完美的近似进行训练，可能使模型逐渐偏离原始数据。\n\n生成与筛选方式\n\n生成样本的分布还取决于输出的产生方式。解码设置、提示词、拒绝规则和质量过滤器都可能使某些输出比其他输出更容易被选中。\n\n例如，束搜索可能侧重于高概率序列，而不是从语言模型中抽取具有代表性的样本。筛选出常规、措辞精良的回答，可能提高单个样本的质量，却也可能缩小所得数据集中风格或观点的范围。\n\n因此，坍塌并非仅由生成数据的比例决定。这些数据的多样性、覆盖范围和筛选过程同样重要。"
    },
    {
      "heading": "一个简化的数学模型",
      "text": "设 \\(P_0\\) 表示原始数据分布，\\(Q_t\\) 表示第 \\(t\\) 代模型所表征的分布。纯递归过程可以示意性地写为\n\n\\[D_{t+1}\\sim Q_t^{\\,n}, \\qquad Q_{t+1}=\\mathcal{A}(D_{t+1}),\\]\n\n其中，\\(D_{t+1}\\) 包含 \\(n\\) 个独立生成的样本，\\(\\mathcal{A}\\) 是训练过程。\n\n在一种理想化情形下，如果具有无限量且有代表性的数据、能够精确表征该分布的模型，以及精确的训练过程，那么一个分布可以复现自身。实际的递归训练并不满足这些假设。\n\n一个简单的例子是对二元结果建模。假设当前模型为其中一种结果赋予的概率为 \\(q_t\\)。生成 \\(n\\) 个观测值，并根据其观测频率估计下一代的概率：\n\n\\[K_t\\sim \\operatorname{Binomial}(n,q_t), \\qquad q_{t+1}=\\frac{K_t}{n}.\\]\n\n条件期望值保持不变：\n\n\\[\\mathbb{E}[q_{t+1}\\mid q_t]=q_t,\\]\n\n但条件方差为\n\n\\[\\operatorname{Var}(q_{t+1}\\mid q_t) =\\frac{q_t(1-q_t)}{n}.\\]\n\n因此，即使估计量在每一步都是无偏的，单条训练谱系仍可能发生漂移。状态 \\(q=0\\) 和 \\(q=1\\) 都是吸收态：一旦其中一种结果消失，该过程便无法再次生成它。在样本量固定且有限的情况下，这一过程最终会以概率一到达这两个状态中的某一个。\n\n这个例子展示了反复进行有限采样所造成的信息丢失。它并不是神经网络训练的完整模型；在神经网络训练中，泛化、平滑处理、外部数据和训练约束都可能改变其演化动态。"
    },
    {
      "heading": "训练方式及其差异",
      "text": "不同的实验设计可能产生显著不同的结果。\n\n- **完全替换：**每个新模型都只使用前代模型的输出训练。这种方式会直接暴露递归过程中的信息丢失。\n- **混合训练：**每一代模型同时接收生成样本和独立来源的数据。持续的外部输入可以保留原本可能消失的信息。\n- **数据累积：**保留早期数据集，同时加入生成样本。与完全替换不同，原始证据仍然可用，但它们在训练中的相对权重可能下降。\n- **经验证的合成数据训练：**生成样本在纳入训练之前，先通过外部证据、可执行测试或其他验证机制进行检查。\n\n一种简化的混合分布为\n\n\\[R_t=(1-\\alpha_t)P_0+\\alpha_t Q_t,\\]\n\n其中，\\(R_t\\) 是下一轮训练的分布，\\(\\alpha_t\\) 是生成数据的占比。这个表达式忽略了有限样本效应、选择偏差以及外部来源的变化。不过，它仍然说明了为什么替换全部原始数据，与反复提供外部参考分布有所不同。\n\n不存在一个普遍适用的合成数据占比，超过它就一定会开始坍塌。结果取决于数据质量、任务、模型、样本量、过滤方式和训练过程。"
    },
    {
      "heading": "研究历史",
      "text": "2023年，随着人们担忧生成内容可能进入未来的训练语料库，模型坍塌成为一个备受关注的研究主题。一项引发广泛讨论的研究最初以《递归的诅咒：使用生成数据训练会使模型遗忘》为题流传。其经过同行评审的版本《在递归生成的数据上训练会导致人工智能模型坍塌》于2024年发表在《自然》杂志上。\n\n这项研究结合理论分析与实验，区分了早期的分布尾部信息丢失和更大范围的退化。其他研究也考察了相关的递归生成效应，包括针对图像模型开展的实验。\n\n后续研究强调了实验假设的重要性。尤其是，保留原始数据并不断累积生成样本，可能呈现出不同于反复替换训练集的行为。这些发现限定了“生成数据必然导致坍塌”这一说法的适用范围，但并未消除某些特定递归训练过程已被证实存在的风险。"
    },
    {
      "heading": "与相关问题的区别",
      "text": "**模式坍塌。**在生成对抗网络中，模式坍塌是指生成器只能生成目标分布中有限的一部分模式。它可能在单次训练过程中发生。模型坍塌则关注与生成数据反馈有关的退化，不过，多样性下降可能是两者共有的表现。\n\n过拟合。过拟合是指模型拟合了训练数据特有的模式，却因此牺牲了在新样本上的表现。模型坍塌关注的是连续多轮训练中所提供的数据分布发生退化。两者均可在另一者未发生的情况下单独出现。\n\n灾难性遗忘。灾难性遗忘是指模型在进一步训练时丧失此前学到的能力。相比之下，模型坍塌强调的是通过生成训练数据而产生的信息丢失或失真，不过，这两种过程可能影响同一个系统。\n\n幻觉。人工智能幻觉是指生成的论断缺乏依据或存在错误。模型坍塌可能传播此类错误，但单次幻觉并不能证明已经发生坍塌。\n\n知识蒸馏。知识蒸馏有意将教师模型的行为传递给学生模型。它本身并不等于坍塌：其成败取决于目标任务和训练设计，而不在于能否无限期地复现原始分布的每一项特征。"
    },
    {
      "heading": "评估与实际意义",
      "text": "检测模型坍塌，不能只看输出是否流畅或看似合理。相关衡量指标包括：\n\n- 在独立的真实世界测试集上的表现；\n- 对罕见事件、子群体及不常见组合的覆盖程度；\n- 输出多样性和分布保真度的变化；\n- 连续各代模型在特定任务上的准确率；\n- 对生成训练材料数量及来源的敏感程度。\n\n对于语言模型，困惑度可以提供有用的证据，但它并不能全面衡量事实可靠性或多样性。使用递归生成的测试分布进行评估，也可能掩盖模型相对于原始目标的退化。基准数据污染则是另一个独立的问题，可能使测得的性能具有误导性。\n\n关于缓解措施的研究包括：保留有代表性的源数据、加入新的观测数据、控制采样和过滤过程，以及依据外部约束检查生成样本。在编程任务中，可执行测试能够剔除一部分错误的合成样本，但通过测试并不能证明其完全正确或具备足够的多样性。\n\n数据血缘十分重要，因为当训练样本的来源不明时，递归依赖关系就很难研究。可靠的来源记录可以区分独立采集的观测数据与前代模型生成的材料。\n\n更广泛的担忧在于，万维网上的生成内容可能进入后续训练数据集，形成间接反馈循环。不过，受控的递归训练实验本身并不能证明某个已部署的模型正在发生坍塌。实际训练流程在数据保留、过滤、验证以及获取新观测数据的能力上存在差异；这些差异是评估该现象的关键。"
    }
  ],
  "links": [
    "machine-learning",
    "generative-artificial-intelligence",
    "training-data",
    "probability-distribution",
    "large-language-model",
    "diffusion-model",
    "inductive-bias",
    "loss-function",
    "beam-search",
    "expected-value",
    "variance",
    "generative-adversarial-network",
    "overfitting",
    "catastrophic-forgetting",
    "ai-hallucination",
    "knowledge-distillation",
    "test-set",
    "perplexity",
    "benchmark-data-contamination",
    "data-lineage",
    "world-wide-web"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}