蒙特卡洛随机失活是一种估计人工神经网络预测不确定性的方法:在推理过程中保持随机失活启用,并使用不同的随机失活掩码对同一输入进行多次计算。随后汇总得到的预测,估计预测均值及表征变异程度的指标。在特定的建模假设下,这一过程可解释为近似贝叶斯推断,而不只是对预测结果取平均的技术。
背景与贝叶斯解释
随机失活最初是一种用于减轻过拟合的正则化技术。训练时,它会随机屏蔽选定的激活值或连接,使网络无法始终依赖相同的特征组合。在常规推理中,随机失活会被禁用,转而使用确定性的网络,并进行适当缩放,以补偿训练时掩码的影响。
蒙特卡洛随机失活则在神经网络推理过程中保留随机掩码。每次前向传播都会计算训练后网络的一个不同掩码版本。这些版本共享学得的参数,并非独立训练的模型,但它们的预测提供了一种计算方便的集成近似。
现代的贝叶斯解释由 Yarin Gal 和 Zoubin Ghahramani 在 2016 年发表的研究中提出。他们的分析将随机失活训练与贝叶斯模型中的变分推断联系起来,其中包括基于近似深度高斯过程的解释。
在贝叶斯神经网络中,网络参数的不确定性由后验分布表示。对于训练数据 、输入 、输出 和参数 ,后验预测分布为
对于大型神经网络,这一积分通常难以直接计算。随机失活的解释是,用受限的近似分布 替代后验分布 ,其中的随机性由随机失活掩码引入。随后,通过反复进行带掩码的前向传播,利用蒙特卡洛方法采样,近似计算该分布下的积分。
贝叶斯解释成立与否,取决于似然、先验、正则化、随机失活的参数化方式,以及推导训练目标时采用的近似。在任意一个训练好的网络中启用随机失活,本身并不能证明其预测就是来自贝叶斯后验的准确样本。
采样过程
假设激活向量为 ,其中每个元素都以概率 独立保留。按照广泛使用的反向随机失活(inverted dropout)约定,
这一缩放使每个激活值的条件期望值保持不变。保留概率 对应的失活概率为 。
对于训练好的网络,蒙特卡洛随机失活采用以下过程:
- 保持学得的参数不变,同时启用指定的随机失活层。
- 使用 组独立采样的掩码,对输入 进行计算。
- 保存每次随机前向传播的输出。
- 汇总输出,得到预测结果及一个或多个不确定性估计值。
将第 次前向传播的预测记为 ,则预测均值的估计为
采样所得网络输出的协方差估计为
其中 。对于标量输出,它简化为样本方差。
增大 可以降低这些估计的采样误差,但不会改善底层的后验近似。对于方差有限的独立样本,均值估计的标准误差按 的比例减小。
回归与预测方差
在回归中,不同掩码网络的预测之间的变异,通常被视为对已学模型不确定性的近似。它不一定代表未来观测的全部不确定性。
例如,假设观测模型为
根据全方差公式,
因此,在随机失活近似下,对于标量输出,预测方差可估计为
。
如果网络在每次前向传播中都会预测一个随输入变化的观测方差 ,则相应的估计为
这两个分量区分了观测噪声与采样模型之间的变异。仅以输出点预测为目标训练的网络,并不会自动提供观测噪声模型;不应将其随机失活输出的离散程度单独称为总预测不确定性。
分类与不确定性度量
对于多分类任务,每次前向传播都会生成一个类别概率向量,
预测概率的蒙特卡洛估计为
应先将输出转换为类别概率,再对概率取平均。由于 softmax 是非线性的,对平均后的 logits 应用 softmax 通常会得到不同的结果。
可以根据这些预测计算多种不确定性评分。
预测熵
平均预测的信息熵为
当整体预测分布分散在多个类别上时,预测熵较大。不过,它无法区分由采样模型之间的分歧引起的不确定性,与每个单独预测内部本就存在的不确定性。
期望熵
各次预测的平均熵为
如果每个采样模型都给出相似且分散的概率分布,即使模型之间几乎没有分歧,这个量也可能很高。
互信息估计
差值
估计的是近似后验下,预测标签与采样模型参数之间的互信息。它常被用来衡量模型之间的分歧。
例如,如果采样模型各自以很高的置信度预测不同类别,就可能产生较高的预测熵和较低的期望熵,此时两者之差较大。反之,如果所有模型都给出几乎相同、但不确定的预测,那么两种熵都可能很高,而两者之差很小。
不确定性的类型
蒙特卡洛随机失活通常在不确定性量化的框架内讨论,尤其涉及以下两类不确定性的区别:
- **认知不确定性:**与模型参数或模型结构方面的知识有限有关的不确定性。
- **偶然不确定性:**在给定可用输入的条件下,观测中仍然存在的变异,例如测量噪声,或无法由这些输入消除的歧义。
不同随机失活掩码之间的变异,主要用于近似所选模型族内的认知不确定性。偶然不确定性则需要通过适当的似然或输出表示来刻画。
这一区分依赖于模型,并非绝对。对于一组输入而言看似不可约的变异,在获得额外信息后可能变得可预测。同样,受限的随机失活近似也可能无法揭示模型的重要不确定性。
实现注意事项
随机失活必须与训练时的模型匹配
通常,网络在训练时就应采用随机推理阶段所使用的随机失活机制。仅在训练后加入随机失活,会改变计算过程,而网络参数并未针对这一变化进行学习。
随机失活的位置、掩码结构和失活率都是影响显著的超参数。屏蔽单个激活值、整个特征通道或循环连接,会在网络计算上定义不同的分布。
在循环神经网络中,每个时间步都独立更换掩码,与在整个序列中保持掩码不变并不等价。循环随机失活的贝叶斯解释取决于所采用的掩码方案。
其他层需要单独处理
在 PyTorch 和 TensorFlow 等框架中,训练模式和评估模式影响的不只是随机失活。将整个模型设为训练模式,也可能改变批量归一化的行为,包括批次统计量的使用或更新方式。
因此,蒙特卡洛随机失活的实现通常只启用选定的随机失活模块,同时让批量归一化层保持评估模式。对于一般的不确定性估计,无需记录梯度。
采样与计算成本
反复将随机数生成器重置到同一状态,可能产生完全相同的掩码,从而使采样过程失效。各次蒙特卡洛前向传播之间需要使用独立的掩码。
不过,当把多个输入作为同一个采样函数的输入进行计算时,也可能有意共享一个掩码。这对于估计不同输入处预测结果之间的相关性很重要。
进行 次随机前向传播,大约需要 次前向计算的成本,不过并行计算或批处理可以缩短实际耗时。可以通过累积均值和方差,而非保存每次预测,来减少内存占用。增加样本数可以提高这些估计的精度,但不能弥补模型设定错误。
应用及与替代方法的比较
蒙特卡洛随机失活已用于回归、计算机视觉、语义分割,以及其他仅有置信度评分还不足以满足需求的预测任务。在密集预测中,它可以生成空间分布图,显示各次随机输出之间的分歧。
它也用于主动学习,通过不确定性度量帮助挑选待标注的未标注样本。基于分歧的准则旨在识别可能提供模型参数相关信息的样本,不过其有效性取决于不确定性近似的质量。
这种方法类似于集成学习,但不同于由独立训练的网络构成的集成。随机失活样本共享同一组学得的参数,并在一个受限的子网络族中进行探索。独立训练的集成则可以表示优化过程中找到的不同解,代价是需要训练和存储多个模型。
与更复杂的贝叶斯推断方法相比,蒙特卡洛随机失活较容易添加到已有的、使用随机失活训练的模型中。这种简便性的代价是近似后验的灵活性有限。
局限性与评估
蒙特卡洛随机失活并不能保证可靠的概率校准。预测的离散程度可能过小,也可能过大;随机失活方差较低,并不能证明预测正确。
其主要局限包括:
- **后验表示受限。**伯努利掩码只能探索有限的一类参数配置,可能遗漏重要的模态或依赖关系。
- **对设计选择敏感。**失活率、层的位置、训练目标和正则化都会影响准确性及估计的不确定性。
- **分布偏移下的表现不可靠。**与训练数据不同的输入不一定会引起较大的分歧。该方法并不能保证检测出分布偏移或异常输入。
- **推理开销。**对于大型网络或对延迟敏感的应用,大量随机前向传播的成本可能很高。
- **噪声建模不完整。**预测之间的离散程度本身并未考虑观测噪声。
- **预测分布只是近似。**当采样得到的预测分布偏斜或呈多模态时,基于高斯近似构造的区间可能具有误导性。
因此,评估时应区分预测准确性、校准情况、不确定性估计质量和计算成本。相关指标包括预测对数似然、适当评分规则、区间的经验覆盖率,以及拒绝给出估计不确定性较高的预测后,剩余预测的表现。随机失活设置和采样预算可以使用验证集进行评估,最终评估则应在独立的测试集上完成。