{
  "id": "catastrophic-forgetting",
  "title": "灾难性遗忘",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "灾难性遗忘是指机器学习模型在接受新任务或新数据训练后，丧失先前学到的能力。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "灾难性干扰"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/catastrophic-forgetting/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/catastrophic-forgetting/",
      "json": "https://aiwiki.page/en/catastrophic-forgetting.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "灾难性遗忘是指模型在学习新任务或接触新的训练数据分布后，在先前已学任务上的表现大幅退化。这一现象尤其常见于人工神经网络的序列训练：学习新知识会改变同时承载既有知识的参数。例如，一个经过训练、能够识别某一组物体的网络，如果随后仅接受另一组物体的识别训练，就可能丧失大部分原有识别能力，即使其架构本可以同时支持对这两组物体的识别。\n\n这一现象是持续学习的核心问题。持续学习研究的是如何让系统随时间不断获取知识，而不必反复从头开始学习，也不要求能够不受限制地访问此前的全部数据。灾难性遗忘影响着从图像识别、机器人技术到语言模型持续适应等诸多应用领域。“灾难性”一词描述的是这种能力丧失可能具有的突发性和严重性；并非先前任务表现的任何下降都称得上灾难性遗忘。\n\n相关研究既探讨序列学习为何会产生干扰，也探索如何控制这种干扰。主要方法包括重放先前的经验、限制重要参数的变化、保留先前的输出，以及为不同任务分配不同的计算资源。这些方法的有效性在很大程度上取决于任务之间发生了哪些变化、哪些信息仍然可用，以及如何衡量对既有知识的保留程度。"
    },
    {
      "heading": "历史起源与稳定性—可塑性问题",
      "text": "20 世纪 80 年代末至 90 年代初，灾难性遗忘在联结主义研究中受到广泛关注。迈克尔·麦克洛斯基（Michael McCloskey）和尼尔·科恩（Neal Cohen）于 1989 年发表的研究《联结主义网络中的灾难性干扰：序列学习问题》表明，联结主义网络依次学习相关材料时，会出现严重的干扰。罗杰·拉特克利夫（Roger Ratcliff）在 1990 年的研究中进一步考察了将此类网络用作人类再认记忆模型时所面临的困难。这些研究揭示了一个重要区别：成功拟合集中呈现的一组样例，并不意味着在同样的材料分阶段呈现时，仍能保留所学知识。\n\n这一问题的根源属于更广泛的稳定性—可塑性困境。学习系统既要具备足够的可塑性，以吸收新信息，又要具备足够的稳定性，以免破坏已有的有用表征。稳定性过强会阻碍适应；可塑性过强则会使新学习覆盖先前的能力。早在“灾难性干扰”成为通用术语之前，斯蒂芬·格罗斯伯格（Stephen Grossberg）关于自适应共振理论的研究就已探讨这一矛盾。这种困境并不限于某种特定的神经网络架构或优化方法，而是涉及任何自适应系统如何在随经验发生变化的同时，保留已经形成的结构。\n\n早期联结主义模型通过彼此重叠的多组权重来表示大量关联，因此干扰现象在这些模型中尤为明显。传统数据库通常可以添加一条记录，而无须改写无关记录；神经网络则不同，往往以分布式形式存储信息。单个权重可能参与多种输入—输出映射。罗伯特·弗伦奇（Robert French）在 1999 年的综述中综合了此前有关灾难性遗忘的研究，并讨论了旨在减少这种重叠的表征方法。因此，分布式表征既被视为泛化能力的来源，也被认为可能引发破坏性干扰。\n\n詹姆斯·麦克莱兰（James McClelland）、布鲁斯·麦克诺顿（Bruce McNaughton）和兰德尔·奥赖利（Randall O’Reilly）于 1995 年提出的互补学习系统理论提供了一个相关视角。该理论认为，海马系统所支持的快速学习与新皮层中较为缓慢的学习，有助于协调新记忆的形成与长期知识的整合。这是对生物记忆的理论解释，并不是声称某种特定的机器学习算法复现了大脑。不过，该理论对快速习得和渐进整合的区分，影响了后来基于重放的计算方法。\n\n深度学习的兴起使这一问题重新受到关注。网络在大型数据集上经过反复打乱顺序的训练后，可以取得优异表现，但这种训练安排掩盖了序列环境中出现的困难。2010 年代，持续学习研究逐步形成了更明确的基准、评估规程和方法类别。因此，灾难性遗忘不仅是关于分布式记忆的一个长期理论问题，也成为已部署模型在适应新情况时必须面对的实际问题。"
    },
    {
      "heading": "共享参数中的干扰机制",
      "text": "神经网络通常利用反向传播计算参数更新，以最小化损失函数的方式进行学习。假设 \\(\\theta\\) 表示模型参数，\\(L_A(\\theta)\\) 和 \\(L_B(\\theta)\\) 分别衡量模型在先前任务 \\(A\\) 和后续任务 \\(B\\) 上的误差。学会 \\(A\\) 之后，如果只在 \\(B\\) 上训练，优化的就是 \\(L_B\\)，而不是联合目标 \\(L_A+L_B\\)。除非这两个目标沿优化轨迹具有相容的解，否则模型在 \\(B\\) 上的改进可能会增大其在 \\(A\\) 上的误差。\n\n局部几何可以直观地揭示这种干扰。令 \\(g_A=\\nabla_\\theta L_A\\)，\\(g_B=\\nabla_\\theta L_B\\)。在新任务上执行一步梯度下降，参数更新为 \\(\\Delta\\theta=-\\eta g_B\\)，其中 \\(\\eta\\) 是学习率。当步长足够小时，旧任务损失的变化近似为\n\n\\[L_A(\\theta-\\eta g_B)-L_A(\\theta) \\approx -\\eta\\,g_A^\\top g_B.\\]\n\n如果梯度内积为负，那么在局部改善新任务表现的更新就会使旧任务的表现变差。如果内积为正，同一次更新则可能同时有益于两个任务。这一关系解释了为什么任务之间的相似性在某些情况下可以带来正迁移，而在另一些情况下却会造成干扰。\n\n在旧任务的损失极小值附近，\\(g_A\\) 可能很小，仅凭一阶分析无法完整描述情况，此时曲率就变得重要。二阶展开可得\n\n\\[\\Delta L_A \\approx g_A^\\top\\Delta\\theta+ \\frac{1}{2}\\Delta\\theta^\\top H_A\\Delta\\theta,\\]\n\n其中，\\(H_A\\) 是旧任务损失的海森矩阵。即使一阶项可以忽略不计，沿正曲率很大的方向移动也可能损害旧任务的表现。参数保护方法采用不同的近似方式，尝试识别那些一旦发生变化就会带来较大代价的方向或坐标。\n\n干扰还会发生在多个表征层面。较早的网络层可能改变提供给后续分类器的特征；较后的网络层可能改变类别之间的决策边界；归一化统计量也可能不再适用于旧输入。在类别增量识别中，如果训练主要围绕新引入的类别展开，输出分数就可能偏向这些类别。模型可能仍然保留有用的旧特征，却因为各类别的分数不再在完整类别集合上保持校准，而将旧样本分错。反过来，如果输入表征已发生显著变化，仅保留旧输出层也不够。\n\n因此，灾难性遗忘并不是一个等同于擦除已存记录的单一微观事件，而是可观察到的行为表现退化，可能由特征、决策边界、优化状态和输出竞争等方面相互作用的变化引起。它也不同于过拟合：模型可能在新任务内具有良好的泛化能力，同时却遗忘了先前的任务。同样，模型在分布偏移下表现不佳，并不足以证明发生了遗忘；还需要证据表明，后续学习削弱了模型先前已经获得的能力。"
    },
    {
      "heading": "持续学习的设定与任务假设",
      "text": "保留知识的难度取决于学习器需要预测什么，以及它能获得哪些信息。三种广泛采用的设定是任务增量学习、域增量学习和类别增量学习。这些名称描述的是不同的实验假设，并非序贯训练的同义称谓。在一种设定中表现良好的方法，可能只解决了另一种设定所提出问题的一部分。\n\n在任务增量学习中，系统在预测时会被告知输入属于哪个任务。例如，不同任务可以分别区分不同的手写数字对，再由任务标识选择相应的输出头。学习器必须保留解决每个任务的能力，但不必判断当前应当执行哪个任务。这种外部信息可以大幅简化推断过程，也使保留各任务专属组件的方法得以应用。\n\n在域增量学习中，输出的含义总体保持稳定，而输入分布会发生变化。例如，数字识别器可能遇到不同的书写风格、扫描设备或图像变换，但仍然预测同一组数字标签。系统在预测时通常不能依赖显式的任务标识。要维持在先前各个域上的性能，既需要保留有用的不变性，又不能妨碍对最新域的适应。这种设定将灾难性遗忘与域适应联系起来，但两者关注的问题有所不同：域适应侧重于新域上的性能，而持续学习还会衡量旧域上的表现如何变化。\n\n在类别增量学习中，新类别随时间陆续出现，模型必须在迄今学到的所有类别中作出选择。例如，分类器可能先学习猫和狗，再学习汽车和自行车，最终需要在没有任务标签的情况下，从这四个类别中进行预测。这既要求保留对旧类别的区分能力，也要求建立新旧类别之间的比较能力。仅仅设置独立的输出头并不能解决问题，除非模型还能在这些输出头之间进行选择，或协调它们的输出。后续训练中缺少旧类别样本，使得类别不平衡和输出偏差成为尤为重要的问题。\n\n其他区别涉及学习经历在何时发生，以及这些经历能否被再次访问。离线持续学习可能允许对每个新到来的数据集进行多轮训练；在线持续学习通常限制对数据流的访问次数，有时只允许遍历一次。有些实验提供明确的任务边界，而无任务设定则要求系统在渐进变化或未预先告知的变化中学习。任务反复出现、标签延迟到达以及分布相互重叠，都会让情况进一步复杂化。\n\n这些假设决定了什么才算有效的解决方案。当任务标识可用且存储空间允许增长时，为每个已知任务保留一个完整模型可能很有效，但这并不符合固定内存、无任务设定的要求。同样，不受限制地利用全部历史样本重新训练，可以减少遗忘，却也取消了数据访问限制，而这种限制正是许多持续学习研究的出发点。因此，要进行有意义的比较，就必须明确说明任务标识是否可用、提供哪些边界信息、能否访问数据进行回放、允许多少轮训练，以及资源限制。"
    },
    {
      "heading": "遗忘的衡量与基准测试的解读",
      "text": "评估通常会在整个学习序列中持续跟踪模型在先前任务上的表现。令 \\(R_{i,j}\\) 表示训练至任务 \\(i\\) 后模型在任务 \\(j\\) 上的准确率，其中 \\(j\\leq i\\)。由此得到的性能矩阵可以区分两种情况：模型从未学会某个早期任务，或模型曾经学得很好、后来却遗忘了。单一的最终准确率分数无法作出这种区分。评估应使用预留的测试集，而非用于更新模型的样本。\n\n一种常见指标是完成 \\(T\\) 个任务后的最终平均准确率：\n\n\\[A_T=\\frac{1}{T}\\sum_{j=1}^{T}R_{T,j}.\\]\n\n这一指标概括了模型在已观察到的任务序列上的最终能力，但无法单独衡量遗忘。一种常用的遗忘指标会将每个早期任务此前的最佳表现与其最终表现进行比较：\n\n\\[F_T=\\frac{1}{T-1} \\sum_{j=1}^{T-1} \\left( \\max_{i\\in\\{j,\\ldots,T-1\\}}R_{i,j}-R_{T,j} \\right).\\]\n\n不同研究采用的定义有所差异，例如，当后续学习提升了模型在旧任务上的表现时，是否保留由此产生的负值。在比较数值结果之前，必须明确说明这些约定。\n\n后向迁移衡量后续学习如何改变模型在先前任务上的表现。一种常见定义为：\n\n\\[\\operatorname{BWT} = \\frac{1}{T-1} \\sum_{j=1}^{T-1} \\left(R_{T,j}-R_{j,j}\\right).\\]\n\n后向迁移为负，表示相较于刚学完各个任务时，模型的表现有所退化；后向迁移为正，则表示表现有所改善。前向迁移关注先前的学习是否有助于后续任务，通常以未经训练或单独训练的模型为基线进行比较。一种方法可能只是因为几乎没有学到任何新内容而抑制了遗忘，因此，必须同时评估旧知识的保持与新任务的习得。\n\n常见的基准测试包括 Split MNIST、Permuted MNIST，以及将 CIFAR-100 划分为类别增量任务的基准。Split MNIST 将数字类别划分为依次学习的若干组。Permuted MNIST 则使用不同的固定像素置换来构造任务。这些基准测试成本较低，适合开展受控实验，但其人为设计的结构可能有利于那些利用已知任务边界或任务特定组织方式的方法。基于 ImageNet 构建的任务序列、视频流、语言任务和强化学习环境引入了不同形式的复杂性，不应将它们视为等价的测试。\n\n资源核算同样重要。如果仅以样本数量衡量回放缓冲区的大小，可能会掩盖实际字节占用上的巨大差异，尤其是在处理图像、音频或多模态数据时。可扩展网络应报告新增参数量，生成式回放方法则应计入生成器的开销。训练时间、推理成本、数据遍历次数以及超参数选择流程，都可能改变方法的表面排名。任务顺序和随机初始化也会影响结果，因此重复运行十分重要。\n\n最后，联合训练基线有助于揭示按顺序访问数据所带来的代价，但并非在所有优化流程下都是数学意义上的上界。冻结模型为稳定性提供了互补的参照，却几乎无法说明适应能力。要可靠地解读结果，需要同时进行这两类比较，而不能只看一个醒目的遗忘分数。"
    },
    {
      "heading": "复习、记忆选择与生成式回放",
      "text": "回放方法通过在后续学习中重新引入早期经验的信息来减轻遗忘。在经验回放中，学习器存储选定的历史样本，并将其与当前数据混合使用。它不再只针对最新的数据分布进行优化，而是近似地针对过去与当前分布的混合进行优化。这直接应对了序列训练中旧数据缺失的问题：即使原始训练阶段已经结束，旧能力仍然在学习信号中有所体现。\n\n一种典型的目标函数将当前样本与记忆中的样本结合起来：\n\n\\[L(\\theta) = \\mathbb{E}_{(x,y)\\sim D_{\\mathrm{new}}} [\\ell(f_\\theta(x),y)] + \\beta\\, \\mathbb{E}_{(x,y)\\sim M} [\\ell(f_\\theta(x),y)],\\]\n\n其中，\\(M\\) 是记忆缓冲区，\\(\\beta\\) 控制其贡献大小。两者之间的平衡至关重要。回放过少会使干扰得以发生；回放过多则可能减慢对新分布的学习，或导致模型反复拟合少量存储的样本。因此，回放频率、采样权重以及训练批次的构成，都是方法本身的组成部分，而非无关紧要的实现选择。\n\n当存储预算固定时，记忆选择就变得至关重要。蓄水池抽样无需存储完整历史，就能从数据流中所有已见样本里维护一组均匀抽取的样本。其他策略则力求实现类别均衡、覆盖特征空间，或选择靠近决策边界的样本，以及预期能够揭示干扰的样本。每种选择保留的信息各不相同。均匀采样的缓冲区反映历史数据中的出现频率，而类别均衡的缓冲区则有意改变这一频率，以保护较少见的类别。\n\n2017 年提出的 iCaRL 方法将容量有限的代表样本记忆、结合蒸馏的表征学习，以及利用特征空间中类别代表进行分类的方法整合在一起。它的重要性不仅在于存储旧图像，更在于将记忆管理与类别增量预测流程结合起来。其他回放方法会在存储输入的同时保存先前模型的输出，使训练既能保留原始标签，也能保留先前模型函数的某些特性。如果缓冲区管理策略需要反复提取特征，或评估大量候选样本，那么这些策略本身也可能带来高昂的开销。\n\n生成式回放利用训练得到的生成器所产生的样本，替代或补充存储的样本。Hanul Shin 及其同事于 2017 年提出的“深度生成式回放”（Deep Generative Replay）展示了一种由生成器提供合成早期经验的框架。可用的生成器包括变分自编码器或生成对抗网络。生成的样本可以由先前的求解模型标注，也可以以类别为条件生成。\n\n生成式回放并没有消除记忆保持问题，而是将其转移了：生成器也必须保留旧分布。反复近似可能遗漏罕见模态或使误差累积，而生成足够逼真的高维样本可能代价高昂。无论是合成样本回放还是代表样本缓冲区，都不会自动提供隐私保护。两者都可能保留训练样本的信息，因此，记忆保持性能与隐私保障需要分别分析。"
    },
    {
      "heading": "参数保护、蒸馏与受约束的更新",
      "text": "第二类方法试图在不一定存储过去原始样本的情况下保留已有知识。基于参数的正则化会对那些对先前任务很重要的权重施加变化惩罚。其目的是区分两类参数：一类可以相对自由地变化，另一类一旦变化就会显著影响模型在旧任务上的预测。与保留大型数据集相比，这种方法的存储需求通常较低，但重要性估计值和作为参照的参数仍会占用内存。\n\nJames Kirkpatrick 及其同事于 2017 年提出的弹性权重巩固，在先前学到的参数附近施加二次惩罚：\n\n\\[L_{\\mathrm{EWC}}(\\theta) = L_{\\mathrm{new}}(\\theta) + \\frac{\\lambda}{2} \\sum_k F_k(\\theta_k-\\theta_k^\\star)^2.\\]\n\n其中，\\(\\theta^\\star\\) 是先前的参数向量，\\(F_k\\) 用于估计参数的重要性，\\(\\lambda\\) 控制保护强度。该方法使用与费希尔信息相关的对角近似，估计先前模型的预测分布对参数变化的敏感程度。通常可以从近似贝叶斯序贯更新的角度来理解这一方法。\n\n这种近似也带来了局限。对角重要性估计忽略了参数之间的依赖关系，但许多神经网络的功能其实可以通过多个权重的协同变化来维持。单独看来很重要的某个权重，可能通过这种协同调整得到替代。二次惩罚也只是先前解附近的局部近似。如果在多个任务上施加的保护过强，系统就可能以牺牲新任务的学习为代价来保留旧行为。在线形式会整合累积的信息，从而减少为每个先前任务分别设置惩罚项的需要。\n\n相关方法采用了不同的重要性估计方式。2017 年提出的突触智能（Synaptic Intelligence）沿训练轨迹累积参数贡献的信息。2018 年提出的记忆感知突触（Memory Aware Synapses）则根据模型输出的敏感程度来估计重要性。这些差异很关键，因为“重要性”并非权重固有且永久不变的属性，而是取决于所使用的数据、输出函数和近似方式。\n\n功能正则化保留的是输出，而不是直接保护参数向量的各个坐标。Zhizhong Li 和 Derek Hoiem 于 2016 年提出的无遗忘学习（Learning without Forgetting）使用知识蒸馏，促使新模型在学习新任务的同时复现先前模型的响应。蒸馏能够保留硬标签中不包含的相对分数信息。然而，如果只在新任务的输入上要求保持一致，这些输入可能无法充分覆盖那些旧任务行为至关重要的区域。\n\n梯度约束提供了另一条途径。2017 年提出的梯度情景记忆（Gradient Episodic Memory）使用存储的样本约束更新，使其在局部近似下不增加选定的记忆任务损失。其于 2019 年提出的变体 Averaged GEM 通过平均参考约束降低了计算开销。这些方法将干扰的几何性质与明确的更新规则联系起来，但其保护效果仍取决于记忆样本的代表性和局部近似的准确性。"
    },
    {
      "heading": "架构分离与容量分配",
      "text": "架构方法通过控制不同任务能够修改哪些参数来减少干扰。一种极端做法是为每个任务训练一个独立网络。这在很大程度上可以避免模型之间的破坏性更新，但随着任务不断累积，存储和推理的组织管理也会变得更加复杂。此外，当任务身份未知时，如何选择合适的模型仍是一个问题。完全分离虽然能保护知识，却也放弃了部分共享表征和实现正迁移的机会。\n\n安德烈·鲁苏及其同事于 2016 年提出的渐进式神经网络提供了一种结构化的扩展方式。每遇到一个新任务，就增加一个新的网络列，同时冻结先前的网络列。横向连接使新列能够利用先前各列的特征，而不修改它们。因此，先前的参数不会被直接覆盖。代价是，随着任务不断增加，模型规模和连接数量也会持续增长，这限制了该方法在任务数量庞大或未知时的适用性。\n\n参数隔离也可以在容量固定或部分固定的网络内部实现。掩码用于指定各个任务使用哪些权重；已经分配的权重可以被冻结，而尚未使用的权重则保持可训练状态。阿伦·马利亚和斯韦特兰娜·拉泽布尼克于 2018 年提出的 PackNet，通过反复剪枝和重新训练，在同一个网络中为后续任务腾出空间。这一机制基于如下观察：为单个任务训练的网络通常可以被压缩，从而留出参数供其他任务使用。\n\n固定容量的分配最终会达到饱和。一旦大部分有用参数都已分配，新任务就只能共享现有资源、挤占先前的分配，或接受较低的性能。此外，任务专用掩码通常需要在推理时配合路由机制使用。如果依靠外部提供的任务标签来选择正确的掩码，那么系统解决的是任务增量学习问题，而不是不受此类条件限制的类别增量识别问题。掩码的存储和路由开销也必须计入资源预算。\n\n模块化系统试图采取折中方案：学习可复用的组件，并针对输入选择合适的组件组合。专家混合模型架构可以支持这种专门化分工，但仅有稀疏性并不能保证保留已有知识。路由机制可能发生变化，专家仍可能被覆盖，新训练的专家也可能改变各输出之间的竞争关系。因此，保护措施必须同时涵盖组件的行为，以及决定使用哪些组件的机制。\n\n冻结特征提取器、只训练新的输出层，是一种更简单的分离方式。当现有表征已经能够捕捉后续任务所需的差异时，这种方法可以取得良好效果，尤其是在使用预训练视觉模型或语言模型时。其局限在于表征的适应能力受到限制：新领域可能需要冻结的骨干网络所不具备的特征。因此，架构方法只是将稳定性与可塑性之间的权衡分散到不同组件中，而非消除这一权衡。"
    },
    {
      "heading": "基础模型与序贯微调",
      "text": "在适配已经具备多任务能力的基础模型时，灾难性遗忘的影响尤为显著。预训练的大语言模型可能已经从多样化的数据中习得语言模式、事实关联、编程能力和指令遵循行为。随后在狭窄数据集上进行的微调，会改变这些能力所共用的参数。因此，新任务上的性能提升可能伴随着其他方面的退化，即使微调数据集远小于预训练语料库，也可能如此。\n\n持续预训练、有监督指令微调和偏好优化面临着不同的能力保持问题。持续预训练会改变文本预测样本的分布，例如使其偏向某个专业领域或某种语言。指令微调侧重于特定的输入—响应格式。基于偏好的训练则在其训练目标下改变不同输出的相对可取程度。这些阶段可能带来有用的专门化能力，但都无法保证保留此前测得的每一项能力。若要将某项性能退化明确归因于遗忘，就需要在一致的评估条件下比较不同检查点。\n\n参数高效方法只改变模型有效参数中的一部分。例如，低秩适应通过低秩矩阵乘积来表示对权重矩阵的更新，同时在训练期间冻结原始矩阵。这样既保留了对原始权重的访问，也能以紧凑的形式存储各项独立的适配结果。然而，启用适配后的模型仍可能在旧任务上表现更差：冻结基础矩阵，并不意味着叠加更新后仍能保持其原有的输入—输出函数。\n\n如果各个适配器或提示分别独立训练和选择，使用彼此独立的适配器或提示就可以减少直接干扰。余下的问题涉及路由、组合和共享组件。如果应用始终知道应该使用哪个适配器，那么与单个已部署模型必须在没有任务标签的情况下处理所有请求相比，能力保持就更容易管理。组合不同适配结果时，还可能出现单独评估时不存在的相互作用。因此，关于遗忘的报告需要区分：究竟是基础模型发生了变化，还是某个特定适配配置的行为发生了变化。\n\n回放和蒸馏可以自然地扩展到基础模型，但模型规模会改变其成本效益。要保持广泛的能力，可能需要多样化的文本、代码、多语言样本以及其他模态的数据。原始预训练语料库的访问权限可能受到限制，而对先前检查点进行蒸馏又需要大量计算。评估还必须避免基准数据污染，因为如果评估材料或与其高度相似的变体进入后续训练，表面上的能力保持程度就可能被高估。\n\n获取外部信息提供了一种互补途径。检索增强生成无需更新模型权重即可引入文档，从而减少将每一项事实变化都编码进参数的需求。然而，它无法恢复已经丧失的推理过程，也不能保证模型会正确使用检索到的证据。同样，上下文学习是在所提供的上下文内改变模型行为，而不一定会带来持久的参数层面学习。这些机制解决的是适配问题的不同方面，不应将其与永久性的能力保持混为一谈。"
    },
    {
      "heading": "部署约束与未决问题",
      "text": "实际部署中的情形，很少是由规模相同、标签明确的任务组成的整齐序列。机器人会反复遇到曾经经历过的环境，语音识别器会面对不断变化的口音和麦克风，推荐系统接收到的用户行为也在持续演变。在强化学习中，学习器自身的策略会改变它所能观察到的经验。因此，新的训练既可能改变系统的能力，也可能改变未来的数据分布，形成静态监督学习基准无法体现的反馈循环。\n\n一个核心的实践问题是：应当保留什么？有些旧模式仍然有用，另一些则会过时。推荐模型不应以牺牲当前偏好为代价，无限期地保留过时偏好。系统在纳入更正后的信息时，也不应将先前的错误视为需要保护的能力。灾难性遗忘研究通常假定，先前的任务仍然是有效的评估对象；而在部署中，可能需要明确区分持久有效的知识、短暂的模式，以及应当删除的信息。\n\n这一区分也将知识保留与数据隐私联系起来。回放缓冲区可能与数据最小化或删除要求相冲突，而即使源样本已被移除，模型仍可能保留其中的信息。机器遗忘关注的是有意降低指定训练数据的影响；灾难性遗忘缓解方法通常则力求保留仍然有用的影响。这两个目标并非简单的对立关系，因为要在消除某一来源的贡献的同时维持无关的能力，需要的是选择性改变，而非不加区分的性能退化。\n\n另一个尚未解决的问题是：表面上的遗忘，在多大程度上反映的是知识无法被调用，而非知识完全丧失？模型在某种提示、输出头或决策规则下可能表现不佳，却仍保有能够让它迅速重新学会早期任务的表征。行为测试、特征分析和重新学习实验衡量的是这一区别的不同方面。任何一种方法都无法独立、完整地说明高维网络究竟保留了什么；对于内部知识的判断，也不能仅凭任务准确率下降的报告，而需要更审慎的考察。\n\n长期运行中的可扩展性仍然是一大难题。固定容量的存储必须容纳不断增长的历史；正则化可能逐步限制有益的参数调整；不断扩展的架构会消耗越来越多的资源；生成器则可能不断累积近似误差。任务之间的相关性可以通过共享特征和正迁移缓解这些压力，但互不相关或相互冲突的目标会暴露有限容量的局限。计算预算还决定了反复回放或使用全部历史数据重新训练是否可行。\n\n因此，研究会在明确的存储、计算、延迟和数据访问约束下考察知识保留，而不是将零遗忘视为足够的目标。尤其严苛的情形包括无标签数据流、没有任务边界的渐进变化、对罕见事件的保留，以及多模态学习中视觉与语言相结合的经验。在这些情形下，学习器必须判断哪些变化代表有用的新信息，哪些反映噪声，以及先前作出的哪些区分仍然重要；与此同时，评估必须将这些判断与存储和优化受限所造成的后果区分开来。"
    }
  ],
  "links": [
    "artificial-neural-network",
    "database",
    "deep-learning",
    "backpropagation",
    "loss-function",
    "learning-rate",
    "overfitting",
    "distribution-shift",
    "test-set",
    "variational-autoencoder",
    "generative-adversarial-network",
    "regularization",
    "fisher-information",
    "knowledge-distillation",
    "foundation-model",
    "large-language-model",
    "fine-tuning",
    "low-rank-adaptation",
    "benchmark-data-contamination",
    "retrieval-augmented-generation",
    "in-context-learning",
    "recommender-system",
    "reinforcement-learning",
    "data-privacy",
    "multimodal-learning"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}