潜在扩散模型是一种生成式人工智能模型,通过逐步去除经学习得到的压缩表示中的噪声来合成数据,而非直接对原始数据去噪。在图像生成中,编码器首先将图像映射到分辨率较低的潜在空间。扩散模型学习这些表示的统计结构,解码器则将生成的表示转换回图像。文本、图像、空间布局或其他信息都可以引导生成过程。
这种方法将两项要求很高的任务分开处理:一是表示感知上重要的信息,二是学习如何生成新的样本。与其他方面相似的像素空间扩散系统相比,在更小的表示空间中执行迭代生成过程,可以显著降低计算成本。潜在扩散尤其因2022年公开发布的Stable Diffusion而产生广泛影响,随后又被用于图像编辑、个性化生成、视频生成和音频合成。其能力取决于压缩模型、去噪网络、条件控制机制、训练数据以及生成时采用的数值计算方法的共同作用。
历史基础与兴起
潜在扩散融合了生成建模、学习式压缩和迭代去噪领域的发展成果。自编码器确立了编码器—解码器框架,将观测数据映射为内部表示,再从中重建数据。Diederik Kingma 和 Max Welling 于 2013 年提出的变分自编码器引入了概率建模,并对潜在表示施加正则化;Danilo Rezende 及其同事也在相关研究中独立发展了这一方法。这些系统表明,通过学习得到的中间空间既能支持重建,也能支持生成,不过其优化目标可能使重建结果在视觉上过于平滑。
另一条研究路线发展了基于扩散的生成建模。Jascha Sohl-Dickstein 及其同事于 2015 年提出了一种框架,通过前向扩散过程逐步扰动数据,并学习相应的逆向过程。Jonathan Ho、Ajay Jain 和 Pieter Abbeel 于 2020 年发表的去噪扩散概率模型论文表明,采用简化的去噪目标也能取得出色的图像合成效果。Yang Song 及其合作者发展了相关的基于得分的方法,将生成过程与数据分布对数密度的梯度估计联系起来。这些方法使迭代去噪成为了可与生成对抗网络竞争的替代方案。
然而,直接在图像上执行扩散需要反复处理庞大的空间数组。高分辨率图像包含大量数值,其中许多描述的是细微的局部变化,而非整体语义结构。在每一步去噪中对所有这些数值进行建模,会带来沉重的计算负担。早期的潜变量生成模型已经采用了学习得到的表示,而潜在扩散将感知压缩与扩散先验结合起来,使这一组合在高分辨率合成中尤为有效。
Robin Rombach、Andreas Blattmann、Dominik Lorenz、Patrick Esser 和 Björn Ommer 于 2021 年 12 月以预印本形式发布了《利用潜在扩散模型进行高分辨率图像合成》(High-Resolution Image Synthesis with Latent Diffusion Models),并在 2022 年计算机视觉与模式识别会议上发表了这项工作。他们的系统先训练图像自编码器,再基于其表示训练扩散模型。这项研究探索了不同的压缩倍数和条件生成任务,包括文本生成图像、图像修复和超分辨率。系统还使用了交叉注意力来引入条件信息,无须让每种条件都与图像具有相同的空间布局。
2022 年,Stable Diffusion 将这一设计带给了规模大得多的用户和开发者群体。公开发布的模型权重支持本地推理、修改,以及与创意软件的集成。后续系统对文本编码器、网络架构、训练分辨率和采样目标作出了调整。其核心特征始终不变:生成建模是在学习得到的表示空间中进行的。因此,潜在扩散是一类方法,而不是某一个模型检查点、软件包或去噪架构。
感知压缩与第一阶段模型
压缩阶段通常采用编码器—解码器架构。对于输入图像 ,编码器 生成潜在表示 ,解码器 则生成重建图像 。潜在表示通常是一个空间张量,而非单个向量。其网格与图像区域保持大致的对应关系,使后续网络能够调整构图和局部结构。
对于高度为 、宽度为 、具有三个颜色通道的图像,若空间下采样因子为 ,潜在通道数为 ,则生成的表示形状大致为
早期 Stable Diffusion 系统中一种常见的配置,会将 的 RGB 图像映射为 的潜在张量。这使标量值的数量从 786,432 个减少到 16,384 个,仅为原来的四十八分之一。不过,这一比例并不能全面衡量计算开销的节省程度:网络宽度、注意力运算、内存访问量以及解码器的开销同样重要。尽管如此,它仍说明了为什么压缩之后反复执行去噪可以大幅降低成本。
这种表示并非无损数据压缩。编码器会丢弃一部分信息,而解码器则学习如何重建视觉上合理的细节。训练时通常将像素级重建项与感知损失相结合,后者通过比较另一个神经网络提取的特征来计算。对抗目标可以促使模型生成更清晰的局部纹理。这些损失更注重重建结果在感知上的有效性,而非精确恢复原始图像的每一个像素。因此,潜在表示取决于训练目标和数据分布,而不是某种关于视觉重要性的普适定义。
正则化用于控制潜在空间的结构。最初的潜在扩散研究既考察了与变分自编码器相关的弱 Kullback–Leibler 正则化,也考察了基于向量量化的替代方案。这是两种不同的选择:潜在扩散模型不一定要使用离散码本,也不应将广泛使用的连续潜在表示实现描述为本质上经过量化的模型。实际实现中还通常会对潜在值进行缩放,使其方差适合后续的噪声调度。
压缩带来了一项根本性的权衡。更强的下采样可以降低生成成本,但可能丢失小字、细线、细微的面部细节以及其他高频信息。较弱的压缩则能保留更多信息,但会增加去噪成本。解码器也对重建能力构成约束:即使潜在表示生成器十分出色,也无法可靠地恢复表示本身系统性丢失的信息。因此,第一阶段模型会与扩散先验模型分开评估;即使不改变去噪器,改进第一阶段模型也能显著提升整个系统的表现。
前向加噪与学习得到的反向动力学
扩散阶段学习生成与编码器输出相似的潜在表示。令 表示一个无噪声的训练潜变量。常规的离散前向过程按照方差序列 添加高斯噪声:
记 、,便可直接采样得到任意选定时间步的含噪潜变量:
这一闭式表达式在训练中十分重要,因为它避免了逐一模拟此前的所有加噪步骤。
神经网络接收含噪潜变量、噪声水平或时间步的表示,以及可选的条件 。在常用的噪声预测形式中,网络估计的是 。一个简化的训练目标为
条件可以是文本表示、类别标签,也可以是编码后的图像。因此,训练教会模型的是如何在多种噪声扰动程度下区分噪声与有意义的结构,而非一套固定的图像编辑操作流程。
生成时,过程从一个近似采样自标准高斯分布的样本开始。采样器反复利用网络的预测,构造噪声更少的潜变量。最后一步完成后,解码器将所得潜变量映射为可观察的图像。反向过程是通过统计学习得到的:它并不是从任意噪声中恢复某幅未知的原始图像,而是从模型所表示的分布中生成一个新样本,并可选择使其更符合给定条件。
噪声预测只是参数化方式之一。网络也可以预测无噪声潜变量、信号与噪声的一种类似速度的组合,或其他可供采样器推导更新量的量。在一种常见约定中,,速度定义为 。这一选择与信噪比、损失加权和数值稳定性相互影响。具体实现时,预测目标必须与采样器相匹配;如果将按速度目标训练得到的输出当作噪声来处理,通常会产生错误的更新。
连续时间描述通过随机微分方程及其对应的概率流常微分方程来表述相关过程。这些方程将扩散采样与数值积分联系起来,也解释了为什么多种采样算法可以使用同一个训练好的网络。模型学到的是潜空间中随噪声水平变化的场;采样算法则决定如何沿着这个场演化,以获得最终的表示。
去噪架构与条件机制
早期具有重要影响的潜在扩散系统采用了 U-Net,这是一种最初用于图像分割的多尺度卷积神经网络。其收缩路径在逐步降低空间分辨率的过程中提取特征,扩张路径则恢复分辨率。跳跃连接在相互对应的层级之间传递特征。在扩散模型中,输入与输出的潜在网格尺寸通常相同,网络会在每个位置估计一个与去噪相关的量。
时间步信息被嵌入为向量,并注入网络模块,通常通过添加偏置或调制归一化后的激活值来实现。这使同一个网络能够在不同噪声水平下表现出不同的行为。噪声较强时,局部信息所剩无几,整体结构的推断主要依赖学到的统计规律和条件信息。噪声较弱时,网络则可以进行更局部的修正。这种差异只是一种倾向,并不意味着过程被严格划分为“构图”和“细节”两个阶段。
在文本条件生成中,文本编码器将提示词转换为嵌入向量序列。早期版本的 Stable Diffusion 使用与 CLIP模型 配套的文本编码器,其他系统则使用不同的编码器,或同时使用多个编码器。分词与词元化方式以及编码器的序列长度限制,会影响哪些信息能够传递给去噪网络。提示词通常不会以原始字符的形式输入图像网络,而文本嵌入也不能无歧义地描述一个场景。
交叉注意力将图像特征与这些文本表示联系起来。如果查询 来自视觉特征,键 和值 来自条件特征,那么标准的注意力运算为
因此,不同空间位置可以组合条件序列中不同部分的信息。相比于在每个图像位置都附加同一个文本向量,这种方式更灵活,但它并不能保证物体数量、属性绑定或空间关系正确。
条件信息不一定来自语言。类别标签可以直接嵌入;掩码和低分辨率图像可以与含噪潜在表示拼接;独立的分支则可以处理深度图、姿态图、边缘图或分割图。2023 年提出的 ControlNet 就展示了这样一种方法:在保留预训练扩散主干网络的同时,利用额外的可训练分支提供空间控制。这类机制体现了语义指令与几何约束之间的区别:“一个人抬起手臂”与一张精确的姿态图包含的是不同类型的信息。
后来的潜在空间生成模型越来越多地采用 Transformer架构。扩散 Transformer 处理由潜在表示转换而来的图像块或词元,使用基于注意力的模块,而不再主要依赖 U-Net 的卷积层级结构。有些架构会联合处理文本和图像的词元流。压缩阶段与生成主干网络是可以分别选择的设计要素:仅仅将 U-Net 替换为 Transformer,并不会改变生成过程是否发生在潜在空间中。
训练数据、优化与模型适应
训练通常分阶段进行。首先,训练自编码器,使其学会重建图像。随后固定自编码器的参数,让生成模型学习编码后样本的分布。文本编码器也可以保持冻结,但这并非必要。冻结组件可以减少可训练参数的数量,并在整个扩散训练过程中保持潜在表示含义的稳定。也可以采用联合训练或部分联合训练,但这会改变优化问题,并可能使表示本身成为不断变化的学习目标。
训练数据决定了系统能够学习哪些视觉概念以及图像与文本之间的关系。文生图系统通常使用从大规模数据集中汇集的图像及其配对描述。例如,LAION 数据集提供了大规模图文元数据,被用于开发一些具有重要影响力的开放权重系统。网页上的图像描述可能只涉及图像的某个方面,混入周围的网页文字,或遗漏重要物体。因此,扩散模型所学习的语言描述与可见内容之间的对应关系并不完善。
数据准备通常包括按分辨率筛选、重复检测、裁剪,以及旨在去除不适宜内容的措施。描述质量和采样的均衡性可能与数据集的原始规模同样重要。裁剪图像时若不相应调整描述,可能会裁掉文字中提及的物体。重复图像可能对模型产生不成比例的影响。如果模型的训练数据主要体现某些视觉传统或人口群体分布模式,即使提示词没有明确要求,模型也可能再现这些不均衡现象。
每个优化步骤都会采样训练样本,对其编码,选择噪声水平,添加噪声,预测目标,并通过反向传播更新参数。常用的优化器是 Adam优化器或 AdamW 等变体。混合精度运算和分布式计算使得在多个加速器上开展大规模训练成为可能。缓存潜在表示和文本嵌入可以避免重复编码,但也可能限制训练时的在线数据增强,或使生成这些缓存的编码器无法参与训练。噪声水平的采样方式、预测目标的参数化方式以及损失加权方式,共同决定哪些去噪情形能够获得最强的学习信号。
条件模型通常会在一部分训练样本中丢弃条件。这样,同一个网络便能同时学习有条件和无条件的预测,从而在推理时实现引导。这一过程应与描述缺失造成的普通条件缺省区分开来:有意丢弃条件是模型训练设计的一部分。
预训练之后,可以通过微调使模型适应特定领域、风格或主体。低秩适应通过小规模低秩因子更新选定的权重矩阵,而不是修改所有参数。2022 年提出的 DreamBooth 推广了以主体为中心的个性化方法,即利用少量示例图像进行微调。文本反演则保持主模型不变,转而学习与新词元关联的嵌入。这些方法修改的组件各不相同,在存储开销、表达能力以及对适应样本产生过拟合的风险方面也有所差异。
采样、引导与计算效率
训练和采样使用相同的去噪网络,但计算模式不同。训练时,通常为每个样本随机选择一个噪声水平进行计算;生成时则需要连续多次计算,因此网络调用次数成为决定延迟的主要因素。最初的离散扩散形式可能需要数百乃至数千个反向步骤;后来的采样器用少得多的计算次数就能获得实用的结果。
Jiaming Song、Chenlin Meng 和 Stefano Ermon 于 2020 年提出的去噪扩散隐式模型表明,使用扩散目标训练的模型可以支持其他采样轨迹,包括确定性轨迹。后来的数值方法,如 DPM-Solver 及相关求解器,利用扩散方程的数学结构,更好地权衡生成质量与计算成本。采样器的性能取决于时间步调度、模型预测的参数化方式、引导强度,以及评估时所用的数据分布。不存在适用于所有情况的最优步数。
一种广泛使用的技术是无分类器引导。设 为有条件预测, 为省略条件时的预测。一种常见约定按下式构造预测:
在这一约定下, 对应普通的有条件预测。更大的值会沿远离无条件预测的方向进行外推,通常能使生成结果更贴合提示词,但也可能降低多样性,或导致对比度过高、色彩过饱和及其他伪影。不同软件包有时采用不同的引导约定,因此数值设置未必能直接比较。
引导通常同时需要有条件预测和无条件预测。两者可以分别计算,也可以合并成更大的批次进行计算,在内存占用与执行效率之间作出权衡。负面提示词通常用指定的负面文本条件替代空的条件输入。因此,其作用是改变引导方向,而不是施加能够保证某个概念绝不出现的形式化禁令。
知识蒸馏可以进一步加速生成:它训练学生模型,使其复现计算成本更高的教师模型的部分行为。基于一致性的方法和借助对抗训练的方法可以支持单步或少步生成。这类加速并不只是更换采样器:经过大幅蒸馏的模型接受了额外训练,其质量特征或引导行为可能有所不同。
实际运行时间还取决于硬件和实现方式。图形处理器、高效的注意力计算内核、较低的数值精度、模型量化以及内存管理策略,都会影响吞吐量和内存占用。自编码器的解码器和文本编码器还会在去噪循环之外带来额外开销。在受控环境中,随机种子有助于提高可复现性,但在不同设备、数值计算库或软件版本之间,即使种子相同,也不能保证输出逐比特一致。
图像编辑、可控合成与个性化
文本生成图像只是潜在扩散的一种用途。在图像到图像生成中,先将已有图像编码并添加噪声,使其达到中等噪声水平,再在新的条件下进行去噪。噪声扰动较弱时,通常能保留更多输入图像的结构;扰动较强时,则允许更大幅度的变化。输入与输出之间的这种关系是统计性的,而非精确对应:即使整体构图依然相似,提示词或某次生成所用噪声的微小变化,也可能改变局部细节。
局部重绘会修改选定区域,同时保留周围内容作为上下文。实现时,可以向去噪器提供掩码和经编码的遮罩图像,也可以在采样过程中,反复混入已知内容在相应噪声水平下的版本。专用局部重绘模型在训练时使用明确表示缺失区域的输入。由于编码器的感受野有限,且潜在网格在空间上经过压缩,像素空间中边界清晰的掩码,在潜在空间中未必对应同样清晰的分界。
图像外扩将图像延伸至原始边界之外。其难点并非简单地向外推展纹理:模型必须在新生成的区域中保持透视、光照、物体的连续性以及场景语义的一致。同样,超分辨率以低分辨率图像为条件进行合成,但恢复出的高频细节只是根据学到的模式作出的估计。生成的砖块纹理或面部特征可能看起来很合理,却未必对应源图像中实际存在的任何内容。当图像被用作纪实证据时,这一区别尤为重要。
空间控制系统会加入边缘图、深度估计、骨架姿态或语义标签等信息。与仅使用文本相比,这些约束可以让构图更加可控。然而,它们也会承接上游估计器的误差:错误的深度或姿态信息可能使生成器产生几何关系不一致的结果。多个条件之间也可能发生冲突,需要网络或采样过程在互不相容的信号之间作出权衡。
个性化旨在让特定主体、产品或风格在新场景中得到一致的呈现。微调和学习得到的嵌入是一条实现路径;参考图像编码器和基于注意力的适配器则是另一条路径。保持一致性并不容易,因为身份特征分布在许多视觉特征之中,而姿态、光照和背景又应当能够变化。过度适配可能导致模型复现训练图像的构图,而不是学到可复用的主体表示。
这些能力已融入图像处理和计算机图形学工作流程,用于概念设计、纹理创建、图像合成以及迭代式视觉探索。但这并不意味着它们具备结构化图形场景中那种精确的对象级可编辑性。图像的潜在表示通常不会为每个对象、材质、光源及几何关系保留明确且持久的记录,因此,改变某一特征时,可能会无意间影响其他特征。
评估、失效模式与负责任的部署
潜在扩散系统必须从多个不同维度进行评估:重建质量、生成样本的逼真度、多样性、对条件的遵循程度、计算成本,以及面对敏感或陌生输入时的表现。自编码器可能具有良好的重建能力,但扩散先验的生成效果却很差;生成器也可能产生赏心悦目的样本,却无法覆盖完整的数据分布。将这些组成部分分开评估,有助于确定缺陷究竟源于压缩、去噪、条件控制还是解码环节。
弗雷歇Inception距离比较生成图像与参考图像在特征表示上的均值和协方差。它广泛用于分布层面的评估,但不能直接衡量单张图像是否符合提示词。其数值取决于特征提取器、参考集、样本数量和预处理方式。基于 CLIP 的文本—图像相似度指标提供了另一种评估信号,但可能无法识别数量错误、属性错置和不合理的空间布局。人工评估能够涵盖更多方面的质量,不过其结果取决于任务定义和评分流程。
常见的失效表现包括人体结构畸形、结构重复、反射错误、文字无法辨认,以及几何关系不一致。模型规模和训练方法的进步缓解了其中一些问题,但并未消除施加全局约束这一根本难题。去噪目标鼓励模型对含噪样本进行统计预测,并不显式强制模型遵循场景图、物理模拟或符号化规范。因此,高度逼真的感知效果可能与结构性错误并存,而这些错误只有在仔细查看时才会显现。
泛化能力也会随输入而变化。即使模型对每个熟悉概念都掌握得很好,面对这些概念的不常见组合时,仍可能表现不佳。模型对不同语言、文化典故、技术图示和罕见视觉风格的处理能力可能参差不齐。在范围狭窄的测试集上开展评估,可能掩盖这些弱点,尤其是当测试提示词与训练中高频出现的描述相似时。训练数据集与评估数据集之间存在重复或近似重复的材料,也会进一步扭曲表面上的性能表现。
记忆训练样本与通常的风格相似并不相同。研究表明,一些扩散模型在特定条件下能够复现可辨认的训练样本,尤其是在样本重复出现或与特定文本高度关联的情况下。这引发了涉及数据隐私和知识产权的担忧,但通常不能仅凭视觉上的相似性来推断某个输出的来源。潜空间压缩并不是匿名化机制:训练样本的信息仍可能保留在整个系统中。
部署时的管控措施可以包括训练数据过滤、提示词审核、输出分类器、访问限制和来源追溯机制。这些措施针对不同环节,也各有局限。内容分类器可能漏检违规输出,也可能误拒合规输出;水印可能因图像变换而被削弱;采用密码学技术的来源记录,也只有在记录链条得到持续维护时,才能确立有据可查的来源链。照片级逼真的图像合成还可用于制作深度伪造内容,因此,当事人同意、身份冒充,以及生成影像与实拍影像的区分,都是实际运行中需要重视的问题。
向视频、音频及其他生成动力学的扩展
潜在扩散的核心思想并不局限于静态图像。只要学习得到的表示能够大幅降低生成建模的成本,同时保留重建所需的信息,这一思想就适用。将其扩展到其他领域,需要合适的编码器—解码器组合、适应该表示的去噪架构,以及与目标任务相匹配的条件信息。某种表示在分类任务中表现出色,并不意味着它自然就适合高保真生成。
视频增加了时间维度。系统可以逐帧独立编码,也可以使用时空自编码器对短视频片段进行编码,或将空间压缩与时间压缩相结合。随后,去噪器必须对随时间变化的运动和外观进行建模,通常采用时间卷积或注意力机制。仅仅独立生成看似合理的帧还不够:同一物体必须在各帧中保持身份一致,遮挡关系的变化必须连贯,运动也应始终与场景相符。
视频生成还会显著增加计算成本。潜在序列包含的词元远多于单幅图像的潜在表示,而在所有时空位置上进行不受限制的注意力计算可能代价高昂。分解式注意力、受限的时间窗口、分层生成和更高程度的压缩,分别针对这一问题的不同方面提出了解决办法。但每种方法都涉及权衡。时间压缩可能丢失短暂事件,而分块生成可能在块的边界处产生不连续。2023 年推出的 Stable Video Diffusion 等模型表明,通过额外训练和时间建模,可以将预训练的图像表示和生成模型扩展到视频领域。
音频系统使用的是适应声音而非图像的表示。2023 年推出的 AudioLDM 利用学习得到的音频表示和与文本相关的条件信息,将潜在扩散应用于音频生成。其他系统则在频谱图的潜在表示或神经音频编解码器产生的表示上执行扩散过程。解码器或声码器会将生成的表示转换为波形。时间分辨率、音高结构、立体声关系以及对相位敏感的细节,带来了不同于视觉合成的约束。简短音效与长篇音乐段落也需要不同的时间组织方式。
其他生成目标的出现,使术语的使用变得更加复杂。流匹配训练一个向量场,将样本从一个分布输运到另一个分布;整流流方法则寻求能够高效求解的轨迹。这些方法在数学上与连续时间生成建模有关,但并不等同于传统的噪声预测式扩散训练。它们可以在同类的压缩图像或视频表示中运行,并使用相似的 Transformer 主干网络。因此,一个系统可以属于更广义的潜在生成模型谱系,而不属于严格意义上的去噪扩散概率模型。
随着这些架构不断发展,若干设计选择仍然彼此独立:表示可以是连续的,也可以是离散的;主干网络可以采用卷积,也可以采用 Transformer;训练目标可以是预测噪声、速度或输运场;推理可能需要许多步骤,也可能只需经过蒸馏后得到的少数步骤。因此,准确的描述应同时说明学习得到的表示和生成动力学,而不应将“潜在扩散”视为所有现代图像生成器的同义词。