{
  "id": "monte-carlo-dropout",
  "title": "蒙特卡洛随机失活",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "蒙特卡洛随机失活在推理时保留随机失活，通过汇总多次随机前向传播的预测来估计神经网络的预测不确定性。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "MC 随机失活",
    "蒙特卡洛 Dropout",
    "MC Dropout"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/monte-carlo-dropout/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/monte-carlo-dropout/",
      "json": "https://aiwiki.page/en/monte-carlo-dropout.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "蒙特卡洛随机失活是一种估计人工神经网络预测不确定性的方法：在推理过程中保持随机失活启用，并使用不同的随机失活掩码对同一输入进行多次计算。随后汇总得到的预测，估计预测均值及表征变异程度的指标。在特定的建模假设下，这一过程可解释为近似贝叶斯推断，而不只是对预测结果取平均的技术。"
    },
    {
      "heading": "背景与贝叶斯解释",
      "text": "随机失活最初是一种用于减轻过拟合的正则化技术。训练时，它会随机屏蔽选定的激活值或连接，使网络无法始终依赖相同的特征组合。在常规推理中，随机失活会被禁用，转而使用确定性的网络，并进行适当缩放，以补偿训练时掩码的影响。\n\n蒙特卡洛随机失活则在神经网络推理过程中保留随机掩码。每次前向传播都会计算训练后网络的一个不同掩码版本。这些版本共享学得的参数，并非独立训练的模型，但它们的预测提供了一种计算方便的集成近似。\n\n现代的贝叶斯解释由 Yarin Gal 和 Zoubin Ghahramani 在 2016 年发表的研究中提出。他们的分析将随机失活训练与贝叶斯模型中的变分推断联系起来，其中包括基于近似深度高斯过程的解释。\n\n在贝叶斯神经网络中，网络参数的不确定性由后验分布表示。对于训练数据 \\(D\\)、输入 \\(x\\)、输出 \\(y\\) 和参数 \\(W\\)，后验预测分布为\n\n\\[p(y\\mid x,D) = \\int p(y\\mid x,W)\\,p(W\\mid D)\\,dW.\\]\n\n对于大型神经网络，这一积分通常难以直接计算。随机失活的解释是，用受限的近似分布 \\(q_\\theta(W)\\) 替代后验分布 \\(p(W\\mid D)\\)，其中的随机性由随机失活掩码引入。随后，通过反复进行带掩码的前向传播，利用蒙特卡洛方法采样，近似计算该分布下的积分。\n\n贝叶斯解释成立与否，取决于似然、先验、正则化、随机失活的参数化方式，以及推导训练目标时采用的近似。在任意一个训练好的网络中启用随机失活，本身并不能证明其预测就是来自贝叶斯后验的准确样本。"
    },
    {
      "heading": "采样过程",
      "text": "假设激活向量为 \\(h\\)，其中每个元素都以概率 \\(r\\) 独立保留。按照广泛使用的反向随机失活（inverted dropout）约定，\n\n\\[z_j\\sim\\operatorname{Bernoulli}(r), \\qquad \\widetilde h_j=\\frac{z_jh_j}{r}.\\]\n\n这一缩放使每个激活值的条件期望值保持不变。保留概率 \\(r\\) 对应的失活概率为 \\(1-r\\)。\n\n对于训练好的网络，蒙特卡洛随机失活采用以下过程：\n\n- 保持学得的参数不变，同时启用指定的随机失活层。\n- 使用 \\(T\\) 组独立采样的掩码，对输入 \\(x\\) 进行计算。\n- 保存每次随机前向传播的输出。\n- 汇总输出，得到预测结果及一个或多个不确定性估计值。\n\n将第 \\(t\\) 次前向传播的预测记为 \\(f_t(x)\\)，则预测均值的估计为\n\n\\[\\widehat\\mu(x)=\\frac{1}{T}\\sum_{t=1}^{T}f_t(x).\\]\n\n采样所得网络输出的协方差估计为\n\n\\[\\widehat\\Sigma_f(x) = \\frac{1}{T-1} \\sum_{t=1}^{T} \\bigl(f_t(x)-\\widehat\\mu(x)\\bigr) \\bigl(f_t(x)-\\widehat\\mu(x)\\bigr)^\\top,\\]\n\n其中 \\(T>1\\)。对于标量输出，它简化为样本方差。\n\n增大 \\(T\\) 可以降低这些估计的采样误差，但不会改善底层的后验近似。对于方差有限的独立样本，均值估计的标准误差按 \\(T^{-1/2}\\) 的比例减小。"
    },
    {
      "heading": "回归与预测方差",
      "text": "在回归中，不同掩码网络的预测之间的变异，通常被视为对已学模型不确定性的近似。它不一定代表未来观测的全部不确定性。\n\n例如，假设观测模型为\n\n\\[y\\mid x,W\\sim \\mathcal N\\bigl(f_W(x),\\sigma^2\\bigr).\\]\n\n根据全方差公式，\n\n\\[\\operatorname{Var}(y\\mid x,D) = \\mathbb E_{W\\mid D} \\left[\\operatorname{Var}(y\\mid x,W)\\right] + \\operatorname{Var}_{W\\mid D} \\left[\\mathbb E(y\\mid x,W)\\right].\\]\n\n因此，在随机失活近似下，对于标量输出，预测方差可估计为\n\n\\[\\widehat{\\operatorname{Var}}(y\\mid x,D) = \\sigma^2+\\widehat\\Sigma_f(x)\\]\n\n。\n\n如果网络在每次前向传播中都会预测一个随输入变化的观测方差 \\(v_t(x)\\)，则相应的估计为\n\n\\[\\widehat{\\operatorname{Var}}(y\\mid x,D) = \\frac{1}{T}\\sum_{t=1}^{T}v_t(x) + \\widehat\\Sigma_f(x).\\]\n\n这两个分量区分了观测噪声与采样模型之间的变异。仅以输出点预测为目标训练的网络，并不会自动提供观测噪声模型；不应将其随机失活输出的离散程度单独称为总预测不确定性。"
    },
    {
      "heading": "分类与不确定性度量",
      "text": "对于多分类任务，每次前向传播都会生成一个类别概率向量，\n\n\\[p_t(c\\mid x).\\]\n\n预测概率的蒙特卡洛估计为\n\n\\[\\overline p(c\\mid x) = \\frac{1}{T}\\sum_{t=1}^{T}p_t(c\\mid x).\\]\n\n应先将输出转换为类别概率，再对概率取平均。由于 softmax 是非线性的，对平均后的 logits 应用 softmax 通常会得到不同的结果。\n\n可以根据这些预测计算多种不确定性评分。\n\n预测熵\n\n平均预测的信息熵为\n\n\\[H[\\overline p] = -\\sum_c\\overline p(c\\mid x) \\log\\overline p(c\\mid x).\\]\n\n当整体预测分布分散在多个类别上时，预测熵较大。不过，它无法区分由采样模型之间的分歧引起的不确定性，与每个单独预测内部本就存在的不确定性。\n\n期望熵\n\n各次预测的平均熵为\n\n\\[\\frac{1}{T}\\sum_{t=1}^{T}H[p_t].\\]\n\n如果每个采样模型都给出相似且分散的概率分布，即使模型之间几乎没有分歧，这个量也可能很高。\n\n互信息估计\n\n差值\n\n\\[H[\\overline p] - \\frac{1}{T}\\sum_{t=1}^{T}H[p_t]\\]\n\n估计的是近似后验下，预测标签与采样模型参数之间的互信息。它常被用来衡量模型之间的分歧。\n\n例如，如果采样模型各自以很高的置信度预测不同类别，就可能产生较高的预测熵和较低的期望熵，此时两者之差较大。反之，如果所有模型都给出几乎相同、但不确定的预测，那么两种熵都可能很高，而两者之差很小。"
    },
    {
      "heading": "不确定性的类型",
      "text": "蒙特卡洛随机失活通常在不确定性量化的框架内讨论，尤其涉及以下两类不确定性的区别：\n\n- **认知不确定性：**与模型参数或模型结构方面的知识有限有关的不确定性。\n- **偶然不确定性：**在给定可用输入的条件下，观测中仍然存在的变异，例如测量噪声，或无法由这些输入消除的歧义。\n\n不同随机失活掩码之间的变异，主要用于近似所选模型族内的认知不确定性。偶然不确定性则需要通过适当的似然或输出表示来刻画。\n\n这一区分依赖于模型，并非绝对。对于一组输入而言看似不可约的变异，在获得额外信息后可能变得可预测。同样，受限的随机失活近似也可能无法揭示模型的重要不确定性。"
    },
    {
      "heading": "实现注意事项",
      "text": "随机失活必须与训练时的模型匹配\n\n通常，网络在训练时就应采用随机推理阶段所使用的随机失活机制。仅在训练后加入随机失活，会改变计算过程，而网络参数并未针对这一变化进行学习。\n\n随机失活的位置、掩码结构和失活率都是影响显著的超参数。屏蔽单个激活值、整个特征通道或循环连接，会在网络计算上定义不同的分布。\n\n在循环神经网络中，每个时间步都独立更换掩码，与在整个序列中保持掩码不变并不等价。循环随机失活的贝叶斯解释取决于所采用的掩码方案。\n\n其他层需要单独处理\n\n在 PyTorch 和 TensorFlow 等框架中，训练模式和评估模式影响的不只是随机失活。将整个模型设为训练模式，也可能改变批量归一化的行为，包括批次统计量的使用或更新方式。\n\n因此，蒙特卡洛随机失活的实现通常只启用选定的随机失活模块，同时让批量归一化层保持评估模式。对于一般的不确定性估计，无需记录梯度。\n\n采样与计算成本\n\n反复将随机数生成器重置到同一状态，可能产生完全相同的掩码，从而使采样过程失效。各次蒙特卡洛前向传播之间需要使用独立的掩码。\n\n不过，当把多个输入作为同一个采样函数的输入进行计算时，也可能有意共享一个掩码。这对于估计不同输入处预测结果之间的相关性很重要。\n\n进行 \\(T\\) 次随机前向传播，大约需要 \\(T\\) 次前向计算的成本，不过并行计算或批处理可以缩短实际耗时。可以通过累积均值和方差，而非保存每次预测，来减少内存占用。增加样本数可以提高这些估计的精度，但不能弥补模型设定错误。"
    },
    {
      "heading": "应用及与替代方法的比较",
      "text": "蒙特卡洛随机失活已用于回归、计算机视觉、语义分割，以及其他仅有置信度评分还不足以满足需求的预测任务。在密集预测中，它可以生成空间分布图，显示各次随机输出之间的分歧。\n\n它也用于主动学习，通过不确定性度量帮助挑选待标注的未标注样本。基于分歧的准则旨在识别可能提供模型参数相关信息的样本，不过其有效性取决于不确定性近似的质量。\n\n这种方法类似于集成学习，但不同于由独立训练的网络构成的集成。随机失活样本共享同一组学得的参数，并在一个受限的子网络族中进行探索。独立训练的集成则可以表示优化过程中找到的不同解，代价是需要训练和存储多个模型。\n\n与更复杂的贝叶斯推断方法相比，蒙特卡洛随机失活较容易添加到已有的、使用随机失活训练的模型中。这种简便性的代价是近似后验的灵活性有限。"
    },
    {
      "heading": "局限性与评估",
      "text": "蒙特卡洛随机失活并不能保证可靠的概率校准。预测的离散程度可能过小，也可能过大；随机失活方差较低，并不能证明预测正确。\n\n其主要局限包括：\n\n- **后验表示受限。**伯努利掩码只能探索有限的一类参数配置，可能遗漏重要的模态或依赖关系。\n- **对设计选择敏感。**失活率、层的位置、训练目标和正则化都会影响准确性及估计的不确定性。\n- **分布偏移下的表现不可靠。**与训练数据不同的输入不一定会引起较大的分歧。该方法并不能保证检测出分布偏移或异常输入。\n- **推理开销。**对于大型网络或对延迟敏感的应用，大量随机前向传播的成本可能很高。\n- **噪声建模不完整。**预测之间的离散程度本身并未考虑观测噪声。\n- **预测分布只是近似。**当采样得到的预测分布偏斜或呈多模态时，基于高斯近似构造的区间可能具有误导性。\n\n因此，评估时应区分预测准确性、校准情况、不确定性估计质量和计算成本。相关指标包括预测对数似然、适当评分规则、区间的经验覆盖率，以及拒绝给出估计不确定性较高的预测后，剩余预测的表现。随机失活设置和采样预算可以使用验证集进行评估，最终评估则应在独立的测试集上完成。"
    }
  ],
  "links": [
    "artificial-neural-network",
    "dropout",
    "overfitting",
    "regularization",
    "neural-network-inference",
    "variational-inference",
    "monte-carlo-method",
    "expected-value",
    "variance",
    "multiclass-classification",
    "information-entropy",
    "hyperparameter",
    "recurrent-neural-network",
    "pytorch",
    "tensorflow",
    "batch-normalization",
    "parallel-computing",
    "computer-vision",
    "semantic-segmentation",
    "active-learning",
    "ensemble-learning",
    "probability-calibration",
    "training-data",
    "distribution-shift",
    "validation-set"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}