去噪扩散隐式模型(DDIM)是扩散模型的一种形式,通过将噪声逐步转化为具有结构的样本来生成数据。其核心贡献是一组采样方法:既能复用按常规方式训练的扩散去噪器,又能实现确定性生成,并大幅减少采样步数。Jiaming Song、Chenlin Meng 和 Stefano Ermon 在一篇于 2020 年发布、并于 2021 年在 ICLR 上发表的论文中提出了 DDIM。该方法将训练扩散模型所用的目标与生成输出所用的具体随机过程区分开来。
背景与动机
去噪扩散概率模型(DDPM)学习逆转一个逐步用噪声扰动数据的过程。在其标准形式中,前向过程是一条马尔可夫链:每个含噪状态仅依赖于前一个状态,而不依赖于此前的完整状态序列。学习得到的反向过程通过一系列去噪转移来重建数据。
早期的 DDPM 实现通常使用数百乃至数千个反向步骤。由于每一步通常都需要运行一个大型人工神经网络,生成的计算开销可能很高。
DDIM 表明,同一个去噪训练目标可以支持更广泛的一类前向过程,其中包括非马尔可夫过程。这些过程保留了以原始数据为条件的各个含噪状态的分布,同时改变状态之间的依赖关系。与之对应的生成方法既可以是随机的,也可以是确定性的,并且可以在缩减后的噪声水平序列上运行。
实践中的关键区别在于训练去噪器与选择采样器。DDIM 通常不需要单独训练网络:兼容的 DDPM 噪声预测器也可用于 DDIM 采样。
数学表述
含噪数据的边缘分布
设 为一个数据样本, 表示分配给扩散步骤 的噪声方差。定义
时刻 的含噪样本的条件概率分布为
其中, 表示正态分布, 为单位矩阵。等价地,
随着 减小,数据信号相对于噪声逐渐减弱。选取适当的终点噪声水平,可以使 近似服从标准正态分布。
DDIM 保留了这些条件边缘分布。发生变化的是整条轨迹 上的联合分布。其广义前向构造可以依赖于干净样本 ,而不必局限于原始的马尔可夫链。
训练目标
一种常见的参数化方式是训练网络 ,使其预测添加到干净样本中的噪声。简化的损失函数为
DDIM 的构造将其变分目标与这一去噪目标的加权形式联系起来。含噪数据边缘分布保持不变,解释了为何现有的噪声预测器能够复用于不同的采样方法。
这并不意味着所有加权方案、网络参数化方式或训练好的模型都可以无条件互换。实践中的重要结论是:改用 DDIM 采样,通常不需要重新训练兼容的 DDPM 去噪器。
采样更新
给定含噪状态 ,网络首先给出对干净样本的估计:
从噪声水平 转移到更早、噪声更小的水平 时,广义 DDIM 更新为
其中, 是新采样的噪声。一种标准的参数化方式为
超参数 控制新注入噪声的量:
- **:**采样过程中不添加新噪声。一旦 和网络固定,每次更新都是确定性的。
- **:**方差与所选调度下对应的祖先扩散转移一致。在完整的原始调度上,这就恢复了标准 DDPM 的后验方差选择。
- **:**采样介于确定性 DDIM 与上述随机转移之间。
在无噪声的终点,,因此更新直接返回预测的干净样本,不添加噪声。
确定性生成
当 时,固定初始噪声样本 、模型、条件输入和采样调度,就能确定整条轨迹。这是最常与 DDIM 这一名称联系在一起的典型情形。
确定性采样并不意味着模型只能生成一个输出。不同的初始高斯样本通常会产生不同的输出。随机性来自初始状态,而非每一次反向转移。
这种构造称为隐式模型,是因为它规定了生成样本的机制,而不是直接提供一个便于求值的数据概率密度公式。它不是生成对抗网络,也不需要对抗训练。确定性的 DDIM 更新也不会自动带来易于计算的精确似然。
可复现性仍取决于实现细节。如果调度、条件、数值精度、模型参数或非确定性计算操作发生变化,仅固定随机种子并不足够。
加速采样
DDIM 可以沿训练噪声水平的一个子序列进行采样,
直接从 转移到 。因此,它不必在每个训练时间步都运行网络。
例如,一个使用一千个离散噪声水平训练的去噪器,可以采用仅含数十个采样步骤的调度。这一例子旨在说明方法,而非给出通用设置:可达到的质量取决于模型、数据、所选噪声水平、条件以及网络求值次数。
主要的计算节省来自神经网络推理调用次数的减少。一个粗略的成本模型为
其中, 是去噪器的求值次数, 是单次求值的成本。实际运行时间还包括调度、内存搬移、解码及其他处理所需的时间。
DDIM 是早期展示快速扩散采样的重要方法,但跳过时间步并非它独有的能力。重新设定时间步间隔的随机采样器以及后来的数值求解器,同样能够减少求值次数。
与微分方程的关系
确定性的 DDIM 更新具有一种连续时间解释,与常微分方程(ODE)相联系。
当 时,定义
采样更新变为
这类似于以 为变量的一阶显式数值步进。在适当的连续时间噪声调度下,它将确定性扩散采样与基于得分的扩散模型所对应的概率流 ODE 联系起来。
这一联系既解释了 DDIM 为何能够加速,也说明了它的局限。增大步长可以减少计算,但会引入数值近似误差。更精确的求解器可能在相同的网络求值次数下获得更好的结果。不应假定有限步 DDIM 采样器能够复现理想连续时间流的精确分布。
应用
图像生成与条件采样
DDIM 广泛用作图像生成扩散系统的采样器。它既可以直接在像素空间中运行,也可以用于潜在扩散模型:后者在压缩的潜在空间中执行去噪,随后由解码器生成图像。
条件机制在很大程度上独立于采样器的选择。例如,无分类器引导利用条件网络输出与无条件网络输出来修改去噪预测;DDIM 更新随后便可使用修改后的预测。引导会改变采样轨迹,并可能影响质量、多样性和稳定性。
反演与图像编辑
确定性轨迹启发了 DDIM 反演:沿相反方向应用相关更新,将现有图像近似映射为含噪表示。所得表示可用于初始化重建或编辑过程,包括在改变条件后进行生成。
常规 DDIM 反演并不是有限步采样器的精确代数逆运算。网络预测随状态和时间步而变化,反转离散轨迹会引入近似误差。使用较粗的调度或较强的引导时,重建效果可能变差。更复杂的反演方法可以进一步优化中间状态或条件。
插值与受控比较
从初始噪声到输出的确定性映射,使探索初始状态之间的插值成为可能。这类插值可以产生渐变的视觉效果,但并不保证变化平滑或有意义。
固定初始噪声也有助于比较提示词、模型变体或引导设置。这样可以控制一个变异来源,但不能保证所有生成图像都保留相同的构图或语义内容。
局限与适用范围
速度与质量仍需权衡。 过度减少步数可能导致伪影、细节丢失或输出分布变化。DDIM 能够快速采样,并不意味着在任意低的求值次数下都能保证高质量。
确定性不保证保真度。 去除每一步的噪声会改变采样行为,但这本身并不能证明其质量、覆盖度或多样性优于随机采样器。
采样器设置必须与模型匹配。 噪声调度、时间步约定、输出参数化方式以及终点信噪比假设都会影响更新。对于预测干净样本或类似速度的量的网络,需要进行相应转换,而不能原封不动地使用噪声预测公式。
该方法继承了底层模型的局限。 DDIM 本身无法纠正模型从训练数据中学到的偏差、记忆行为或失误。它的贡献在于生成轨迹的构造与数值执行,而非保证每个生成样本的可靠性或适当性。