aiwiki.page
中文
计算机 / 人工智能 / classifier-free-guidance

无分类器引导

无分类器引导通过组合有条件与无条件预测来引导生成模型,以牺牲部分样本多样性为代价,增强对条件的遵循。

13 个关键词3 个词条链接到这里1 个尚未撰写AI 撰写
扩散模型生成式人工智能人工神经网络损失函数Dropout(神经网…超参数概率分布交叉注意力无分类器引…

**无分类器引导(Classifier-free guidance,CFG)**是一种在采样过程中引导条件生成模型的技术,无需使用独立的分类器。它最常用于扩散模型,将模型在给定条件下的预测与不提供该条件时的预测相结合。放大两者之间的差异,通常能提高生成结果对条件的遵循程度,但往往会降低样本多样性;引导强度过高时,还可能出现明显的伪影。CFG 广泛应用于生成式人工智能,包括以文本为条件的图像、音频和视频生成。

背景与动机

条件生成模型会生成与某种输入相关联的样本,输入可以是类别标签、文本描述、参考图像或音频信号。在扩散模型中,生成通常从随机噪声开始,经过一系列去噪步骤,逐步构建样本。

经过条件生成训练的模型,不一定能达到用户或应用所要求的条件遵循程度。引导通过调整采样过程来增强条件的影响。

早期的分类器引导方法使用一个独立训练的分类器,从含噪输入中识别所要求的类别,以此实现引导。分类器输出的对数概率梯度会将生成过程引向与该类别关联更强的样本。这需要一个能够处理含噪输入的合适分类器,并且在采样过程中还要额外计算梯度。

Jonathan Ho 和 Tim Salimans 提出的无分类器引导,用生成模型自身的有条件预测与无条件预测之差,取代外部分类器的梯度。“无分类器”指的是不使用独立的引导分类器;模型中仍然可以包含文本编码器或其他条件处理组件。

有条件与无条件的联合训练

常见实现会训练一个人工神经网络,使其既能进行有条件预测,也能进行无条件预测。训练时,部分样本的条件输入会被随机替换为空条件。这一过程通常称为条件随机失活。

设 x0x_0 表示干净的训练样本,cc 表示其条件。一种常见的扩散建模方式将含噪样本构造为

xt=αtx0+σtϵ,ϵ∼N(0,I),x_t=\alpha_t x_0+\sigma_t\epsilon, \qquad \epsilon\sim\mathcal N(0,I),

其中,tt 是噪声水平,αt\alpha_t 和 σt\sigma_t 定义噪声调度。

对于训练目标为预测所添加噪声的模型,一种典型的损失函数为

L=E[∥ϵ−ϵθ(xt,t,c~)∥2],\mathcal L = \mathbb E\left[ \left\| \epsilon-\epsilon_\theta(x_t,t,\tilde c) \right\|^2 \right],

其中

c~={∅,with probability pdrop,c,otherwise.\tilde c= \begin{cases} \varnothing, & \text{with probability }p_{\mathrm{drop}},\\ c, & \text{otherwise}. \end{cases}

空条件 ∅\varnothing 可以用可学习的嵌入向量、空文本字符串的编码,或其他在训练和采样期间始终一致使用的表示来实现。它不一定是零向量。

条件随机失活不同于普通的随机失活:前者移除或替换的是条件信息,而不是随机抑制网络内部的激活值。失活概率是一个训练超参数,会影响模型对有条件行为和无条件行为的学习效果。

采样过程中的引导

在每个带引导的采样步骤中,模型会在两种条件下,对同一个含噪状态进行预测:

ϵcond=ϵθ(xt,t,c),\epsilon_{\mathrm{cond}} = \epsilon_\theta(x_t,t,c),
ϵuncond=ϵθ(xt,t,∅).\epsilon_{\mathrm{uncond}} = \epsilon_\theta(x_t,t,\varnothing).

一种常见的引导约定将两者组合为

ϵ^=ϵuncond+s(ϵcond−ϵuncond),\hat\epsilon = \epsilon_{\mathrm{uncond}} + s\left( \epsilon_{\mathrm{cond}} - \epsilon_{\mathrm{uncond}} \right),

其中,ss 为引导系数。采样算法使用 ϵ^\hat\epsilon 代替通常的噪声预测。

按照这一约定:

  • s=0s=0 得到无条件预测。
  • s=1s=1 得到普通的有条件预测。
  • s>1s>1 则在有条件预测的基础上进一步外推,增强条件信号。

另一种常见约定写作

ϵ^=(1+w)ϵcond−wϵuncond.\hat\epsilon = (1+w)\epsilon_{\mathrm{cond}} - w\epsilon_{\mathrm{uncond}}.

当 s=1+ws=1+w 时,这两种约定等价。因此,所报告的“引导系数”只有结合其定义公式或软件约定才有明确意义。

CFG 并不局限于噪声预测。类似的组合方式也可用于相容的得分预测、干净样本预测或速度预测。其含义取决于模型的参数化方式和采样器;如果中间引入裁剪等非线性操作,原本直接成立的等价关系可能会被破坏。

基于得分的解释

**得分(score)**是对数概率密度对样本的梯度。设

uc(xt,t)=∇xtlog⁡pt(xt∣c)u_c(x_t,t)=\nabla_{x_t}\log p_t(x_t\mid c)

为有条件得分,

uu(xt,t)=∇xtlog⁡pt(xt)u_u(x_t,t)=\nabla_{x_t}\log p_t(x_t)

为无条件得分。这里,ptp_t 描述噪声水平 tt 下的数据分布。

根据贝叶斯法则,

uc−uu=∇xtlog⁡pt(c∣xt).u_c-u_u = \nabla_{x_t}\log p_t(c\mid x_t).

因此,有条件得分与无条件得分之差,在数学形式上与分类器引导使用的分类器梯度相同。CFG 通过生成模型隐式估计这一方向,而不是借助单独训练的分类器。

引导后的得分为

u^=uu+s(uc−uu).\hat u = u_u+s(u_c-u_u).

在固定噪声水平下,若得分是精确的,且下述密度可以归一化,那么这一表达式就是该未归一化密度的对数的梯度:

qt(xt∣c)∝pt(xt∣c)spt(xt)1−s,q_t(x_t\mid c) \propto p_t(x_t\mid c)^s p_t(x_t)^{1-s},

等价地,

qt(xt∣c)∝pt(xt) pt(c∣xt)s.q_t(x_t\mid c) \propto p_t(x_t)\,p_t(c\mid x_t)^s.

这解释了为什么更强的引导会偏向那些与条件具有特别强关联的样本,而不只是总体上合理的样本。

这一解释有一个重要局限:不同噪声水平下的这些重加权密度,通常并不构成某个单一干净数据分布经过前向加噪后得到的各时刻边缘分布。因此,不应将带引导的采样描述为:对原始条件概率分布进行简单幂运算后,再从中精确采样。模型预测的近似性和数值采样还会带来进一步的偏差。

应用与实现

以文本为条件的生成

在文生图系统中,条件通常是编码后的提示词,往往通过交叉注意力提供给模型。CFG 会在去噪过程中增强提示词的影响。

这一方法同样适用于潜在扩散模型。这类模型在压缩的潜在空间中去噪,而不是直接在像素空间中去噪。无论最终输出哪种模态,CFG 的公式都作用于模型的预测。

负向提示词

一些实现会用负向提示词替代空条件,得到

ϵ^=ϵneg+s(ϵpos−ϵneg).\hat\epsilon = \epsilon_{\mathrm{neg}} + s\left( \epsilon_{\mathrm{pos}} - \epsilon_{\mathrm{neg}} \right).

此时,参考分支不再是无条件分支,而是以负向提示词为条件的分支。在模型的预测空间中,生成过程被引向正向条件,并远离负向条件。

负向提示并不是硬性的排除规则。它不能保证某个物体、属性或视觉缺陷一定不会出现,尤其是在正向条件与负向条件存在语义重叠时。

计算成本

标准 CFG 在每个带引导的去噪步骤中需要执行两次模型计算,而不是一次。这两次计算通常可以合并到同一个批次中执行,从而提高硬件利用率,但也会增加内存需求。实际运行时间的额外开销取决于模型、批处理策略和具体实现。

额外成本发生在神经网络推理阶段。两个分支通常共享同一套训练好的权重,而不需要分别存储两个模型。

权衡与局限

条件遵循程度与多样性的权衡。 更强的引导通常能提高生成结果与提示词或类别的匹配程度,但也会让结果集中在更狭窄的范围内。使用不同随机种子生成的样本,可能呈现更相似的构图或特征。

高引导系数下的伪影。 过强的引导可能导致色彩过饱和、对比度过高、结构畸变,或其他与具体模态有关的缺陷。增强引导并不等于提高模型质量。

依赖两种预测。 引导依赖两个学习得到的输出之间的差异。任一分支中的误差都可能被放大,尤其是在远超普通有条件预测的范围内进行外推时。

无法保证组合关系正确。 强引导并不能确保计数、空间关系、文字渲染准确,也不能确保忠实执行每一条指令。它可能只是增强了占主导地位的特征,却没有解决较弱或相互冲突的要求。

对采样设置敏感。 引导效果取决于模型、噪声调度、预测参数化方式、数值求解器以及采样步数。在一个系统中效果良好的引导系数,未必适用于另一个系统。

扩展

引导强度不必在整个采样过程中保持不变。引导调度可以使强度随噪声水平变化,或者仅在选定的区间内施加引导,从而改变早期结构决策与后期细节形成之间的平衡。

其他改进方法会重新缩放引导后的预测,或对预测的干净样本施加约束,以减少不稳定性。这些方法改变了实际采样过程,其数学解释也并不完全相同。

通过知识蒸馏,可以训练模型来近似带引导的教师模型的预测或生成轨迹,从而减少乃至消除推理时进行两次模型计算的需要。在这种情况下,引导行为被学入学生模型,而不是在每个采样步骤中显式计算。

类似的有条件与无条件组合方式,也出现在传统扩散系统之外的模型中。能否适用,取决于模型的概率或向量场表述;扩散模型的噪声预测公式不能原封不动地套用于所有生成架构。