归一化流是一种对概率分布建模的模型,通过对较简单的分布施加一系列可逆变换而构建。这些变换可以由人工神经网络参数化,从而将多元高斯分布等易于处理的参考分布,变换为图像、音频、物理构型或其他数据上的复杂分布。同一构造既可用于生成样本,也可在所需变换及其导数易于计算的情况下,用于计算样本的概率密度。
归一化流在机器学习中具有独特地位,因为它将灵活的分布建模与显式的变量替换计算结合起来。其核心设计问题是,如何让变换具有充分的表达能力,同时避免求逆或密度计算的代价高到难以承受。不同的解决方案形成了耦合流、自回归流、连续时间流,以及适用于非欧几里得空间的模型。归一化流的用途不限于生成式人工智能,还涵盖近似推断、基于模拟的科学分析和统计采样。
数学构造与密度计算
设 服从已知的基础密度 ,并令 ,其中 是可逆的可微变换,且其逆变换也可微。根据变量替换公式,有
这里, 是逆变换的雅可比矩阵。等价地,在 处,有
行列式衡量局部体积的膨胀或收缩。如果某个变换使一点附近的体积扩大为原来的两倍,那么该处的密度就会减半,从而保持概率质量不变。取绝对值是必要的,因为变换可能改变空间的定向,但概率仍须保持非负。
实际使用的归一化流通常由若干较简单的映射复合而成:
利用链式法则,可以将整个变换的行列式写成各层行列式的乘积。取对数后,得到
这种分解是该架构在计算上的主要优势。每一层的结构都可以相对简单,而多层复合却能产生复杂的非线性依赖关系。按相反顺序依次应用各层的逆变换,即可得到整个变换的逆。
例如,假设 服从标准高斯分布,且 ,其中 为非奇异矩阵。所得分布是均值为 、协方差为 的高斯分布,其对数密度中包含修正项 。非线性归一化流推广了这一常见的仿射构造。不过,与不受约束的非线性神经网络不同,归一化流的每一层都必须满足相应的可逆性条件。
处理任意稠密雅可比矩阵的计算成本很高:使用标准矩阵分解计算其行列式,所需时间通常随维度呈三次方增长。显式构造雅可比矩阵所需的存储空间也可能随维度呈平方增长。因此,归一化流架构会利用三角、分块三角、对角或其他具有特定结构的导数矩阵。关键不仅在于映射在理论上可逆,还在于能否高效、稳定地计算逆变换以及行列式绝对值的对数。
在上述假设下,只要基础密度已经归一化,所得密度就会自动归一化,无须估计任何未知的配分函数。归一化流文献中的“精确似然”,主要是指这种显式的概率计算;浮点运算、迭代求逆以及微分方程数值求解器仍可能引入近似误差。
历史发展
归一化流将经典的概率变换与现代神经网络密度估计结合起来。其所依据的变量替换定理早于机器学习,分布之间的三角变换也是如此。1952 年,穆雷·罗森布拉特描述了一种由一系列条件累积分布函数构造的变换。对于满足适当正则条件的连续分布,这种构造可将多元分布映射为相互独立的均匀随机变量。它基于条件分布、逐坐标进行变换的结构,已具备自回归流的一些重要特征。
神经网络方法的一个早期先驱,是古斯塔沃·德科和威尔弗里德·布劳尔于 1995 年提出的非线性独立成分估计模型。该模型使用可逆的非线性变换进行密度建模。这类研究表明,神经网络变换可以直接与概率密度联系起来,不过,后来归一化流所采用的计算架构和大规模训练方法当时尚未出现。
当代归一化流研究在 2014 年至 2015 年间开始受到广泛关注。2014 年,洛朗·丁、戴维·克鲁格和约书亚·本吉奥提出了 NICE,即非线性独立成分估计模型。其加性耦合层的逆变换简单,雅可比行列式为 1。2015 年,达尼洛·希门尼斯·雷森德和沙基尔·穆罕默德发表了《基于归一化流的变分推断》,提出通过一系列可逆变换来丰富近似后验分布。他们提出的平面流和径向流表明,相对简单的变换也能提高变分推断的灵活性。
此后的研究逐渐形成了几个颇具影响力的架构类别。丁、雅沙·索尔-迪克斯坦和本吉奥在 2016 年的一篇预印本中提出了 Real NVP,随后该论文发表于 2017 年国际学习表征会议。其仿射耦合层既易于求逆,又能实现非恒定的体积变化。迪德里克·金马及其同事于 2016 年提出了逆自回归流,乔治·帕帕马卡里奥斯、西奥·帕夫拉库和伊恩·默里则于 2017 年提出了掩码自回归流。这些模型揭示了快速密度计算与快速采样之间的一项核心权衡。
2018 年,金马和普拉富拉·达里瓦尔提出了 Glow,在多尺度图像模型中使用可学习的可逆 卷积和激活归一化。同年,里基·T. Q. 陈及其同事提出了神经常微分方程,其中包括连续归一化流的形式。威尔·格拉思沃尔及其同事随后开发了 FFJORD,利用随机迹估计,使连续流的似然计算能够更好地扩展到大规模问题。
2019 年的研究成果包括神经样条流和 Flow++,它们提高了单个变换的灵活性,并改进了对离散图像数据的处理。后续发展将这一领域拓展至受约束的几何空间、科学计算中的采样以及流匹配方法。这些方法都借鉴了基于输运的思想,但在训练目标、数值计算要求,以及密度计算是否是其预期用途的核心方面各不相同。
耦合变换与多尺度架构
耦合层将输入分为两组, 和 。其中一组保持不变,另一组则使用根据不变组计算出的参数进行变换。在仿射耦合层中,
其中, 表示逐元素乘法。函数 和 可以是复杂的神经网络。由于作为条件变量的 得以保留,这些函数本身并不需要可逆。
其逆变换可显式写为:
雅可比矩阵为分块三角矩阵,因此其行列式仅取决于对角线上的缩放项:
用于生成变换参数的条件网络可能规模很大,但其导数并不直接参与该行列式的计算。正是这种架构设计,使模型既能利用表达能力强的神经网络进行计算,又能以较低成本计算密度。在加性耦合层中,,因此行列式恰好为一。
单个耦合层会让部分输入保持不变,因此堆叠多个层时,必须让不同分组之间交换信息。Real NVP 使用交替掩码,包括按图像位置划分的棋盘格掩码和按通道划分的掩码。固定置换也是一种选择。Glow 引入了可学习的可逆 卷积:在每个空间位置上,用一个可逆矩阵混合各通道。对于高度为 、宽度为 的图像特征图,这种通道混合操作的对数行列式为 ,其中 为通道变换矩阵。
多尺度架构通过逐步将部分变量从后续变换路径中分离出来,降低计算量,其余变量则继续经过更深的网络层。图像“挤压”(squeeze)操作将空间位置重新排列到通道维度中,不丢弃任何信息,使局部图像结构能够通过通道混合相互作用。这类操作与普通池化不同:双射重排会保留每一个输入值。
仿射耦合在计算上很有吸引力,但对每个以另一组变量为条件的坐标,只能进行缩放和平移。表达能力更强的耦合层会用单调非线性函数替代仿射映射。样条插值变换就是一个典型例子。有理二次样条流在正值约束下对各分段的宽度、高度及导数进行参数化,从而构造出灵活的单调映射,并且其逆变换可解析计算。
实际应用中的权衡在于单个标量变换的复杂度与所需层数之间的取舍。表达能力更强的耦合变换可能减少所需深度,但也会增加参数生成、数值管理及实现的复杂度。耦合模型仍然具有重要地位,因为其正向和逆向计算都能同时处理多个坐标。
自回归流与计算方向
自回归变换按照某种顺序,用先前的坐标来定义每个输出坐标。一种常见的仿射形式为
其中, 表示排在 之前的坐标。由于 仅依赖于 ,雅可比矩阵呈三角形,因此其行列式就是对角线上各缩放因子的乘积。这使流的构造与自回归模型建立了联系:自回归模型将联合密度分解为多个条件分布的乘积。
三角结构使行列式的计算成本很低,但并不保证两个方向的变换速度相当。在上述构造中,采样时所有作为条件输入的 都是已知的。采用适当掩码的神经网络可以并行计算变换参数。然而,从给定的 还原 时,通常需要按顺序逐个求解坐标:必须先还原 ,才能计算 所需的参数,依此类推。
逆自回归流利用这种方向差异来实现近似后验采样。在变分自编码器中,优化通常既需要近似后验分布的样本,也需要这些样本对应的密度。流可以高效地变换来自简单后验分布的样本,同时沿该采样轨迹累积密度修正项。它不必在任意点上都能同样高效地计算密度。
掩码自回归流采取相反的权衡,这种取舍适合密度估计。它从数据到基础变量的计算可以写为
给定完整的观测向量 ,带掩码的网络只需进行一次计算,就能得到所有条件均值和缩放因子。生成过程通常是顺序进行的,因为每个新生成的坐标都会为后续坐标提供条件信息。因此,这类模型可以高效地为大批量数据计算密度,但生成每个高维样本时都需要多次运行网络。
掩码在前馈网络内部强制实现所需的依赖模式。Mathieu Germain 及其同事于 2015 年提出的 MADE 架构,为构造这类带掩码的自回归网络提供了一种广泛使用的机制。流的不同层可以采用不同的坐标顺序或置换,从而避免始终依赖某一种任意选定的顺序。
自回归变换不一定是仿射变换。单调样条及其他标量双射可以对更复杂的条件分布建模。其计算特性仍取决于沿哪个方向能够获得条件信息。因此,比较流模型时,需要区分训练吞吐量、任意点的密度计算效率和采样速度,而不能将三者视为同一个效率指标。
连续归一化流与流匹配
连续归一化流用受常微分方程支配的状态演化,取代有限次变换的序列:
随时间变化的向量场 将时刻 的初始分布输运为时刻 的最终分布。在保证该时间区间内解唯一的条件下,反向积分这一方程即可恢复初始状态。其可逆性源于轨迹的唯一性,而非某种专门构造的代数层。
密度按照瞬时变量替换公式演化:
因此,对状态及其沿途累积的散度进行联合积分,即可计算对数密度。有限次变换需要计算行列式的对数;与之对应,连续时间变换需要计算雅可比矩阵的迹的积分。散度为零的向量场保持局部体积不变,并使密度沿每条轨迹保持恒定。
在高维空间中,计算完整的迹可能代价高昂。随机迹估计使用满足 的随机向量 :
自动微分可以计算所需的乘积,而不必显式构造整个雅可比矩阵。FFJORD 利用这一原理,使神经网络向量场的结构能够相对不受限制。这种估计方法降低了计算需求,但也会在散度计算中引入随机误差。
数值积分带来的计算成本与离散流不同。自适应求解器可能需要多次计算向量场,尤其是在学得的动力学具有刚性或变化迅速时。求解器的容差会影响精度、运行时间以及正向与反向计算的一致性。即使数值实现只能近似逆转,数学意义上的流仍可能是严格可逆的。
流匹配通过匹配选定概率路径上的目标速度来训练向量场,Yaron Lipman 及其同事在 2022—2023 年的研究推动了这一方法的发展。相关的条件化形式使训练无需在每次优化迭代时都模拟学得的微分方程。不过,采样通常仍需对学得的向量场进行积分。如果还需要计算似然,则须额外计算密度的演化。
由此,可逆的连续时间生成机制与直接采用最大似然法训练的模型之间存在区别。流匹配可以在不使用最大似然目标的情况下构建前者。某些扩散模型也存在一个确定性的概率流微分方程,其随时间变化的边缘分布与相应随机过程的边缘分布相同。这种数学联系并不意味着所有扩散模型与归一化流在架构或训练方式上都相同。
训练目标与统计解释
用于密度估计的归一化流通常通过最大似然估计进行训练。给定观测数据 ,目标函数为
归一化流在基分布的坐标空间中评估每个观测值,并将基分布的对数密度与相应的体积修正项结合起来。反向传播通过变换与行列式的计算过程,对这一目标函数求导。当训练观测数据以及从数据空间到基分布空间的变换可直接获得时,计算梯度无需从模型中采样。
在总体层面,假设相关量均有良好定义,最小化期望负对数似然等价于最小化
即从数据分布到模型分布的KL散度,两者仅相差一个与模型无关的常数。这一方向的散度会严厉惩罚在数据分布具有正概率质量的区域赋予极低密度的行为。不过,由于样本有限、模型容量受限以及优化不够充分,最大似然估计并不能保证恢复所有模态。
归一化流也用于对变分推断中的近似分布进行参数化。如果未归一化的目标密度为 ,则归一化流 可以最小化
目标分布未知的归一化常数不影响优化。这相当于最小化 ,其散度方向与常规密度估计所用的方向相反。当近似分布族受到限制时,这一目标可能倾向于将概率集中在部分模态上,而不是将概率分散到目标密度较低的区域。
条件归一化流对 建模,其中 可以是类别标签、音频条件信号或测量向量。变换参数依赖于 ,但对每个固定的条件,变换都必须关于 可逆。条件网络本身则不必可逆。这使其能够用于条件不确定性估计、后验近似等监督学习应用。
优化过程中还必须控制数值条件性。仿射变换中的尺度过大或过小,都可能导致激活值不稳定、对数行列式取值极端,或逆变换精度不佳。实际实现通常会约束尺度的参数化方式,将变换初始化为接近恒等变换,或使用逆变换易于计算的归一化层。Glow 的激活归一化采用可学习的逐通道仿射参数,并用一个数据批次对其进行初始化,而不是持续依赖不断变化的批次统计量。
模型评估需要区分训练目标与留出数据上的表现。测试集上的负对数似然衡量的是密度估计的泛化能力,而样本质量、校准程度、计算成本以及特定任务上的表现,则衡量不同的性质。仅有良好的似然表现,并不能证明模型生成的内容在语义上真实,也不能保证模型在分布偏移下表现可靠。
离散数据、维度与几何约束
标准的变量替换公式适用于相同维度空间上的连续密度。以整数像素值存储的图像是离散数据,因此,直接在原始网格点上拟合连续密度会造成不匹配。连续密度可以在观测点附近任意集中,却未必能构成合理的离散概率模型。这一区别很重要,因为密度值取决于测量尺度,而赋予离散结果的概率则不受其影响。
一种常见的解决办法是去量化。对于整数值观测 ,在其对应的量化单元内加入噪声 ,通常令 在 上服从均匀分布。此时,模型给出的离散概率为
由詹森不等式可得
因此,均匀去量化训练所优化的是离散对数似然的下界。对像素值进行缩放会引入额外的密度修正项,在比较所报告的编码开销时,必须将其计入。
变分去量化用学习得到的条件密度 替代均匀噪声,从而得到以下下界:
Flow++ 使用了这种方法来改进图像密度建模。图像似然通常以每维比特数报告:将负对数概率从自然对数换算为以二为底的对数,再除以图像中标量分量的数量。进行比较时,量化方式、预处理流程和下界的计算约定必须一致。
维度还带来了另一项限制。常规双射连接的是维度相同的空间;它无法在保留通常意义下逆映射的同时,将满维连续分布直接压缩为低维潜在编码。严格集中在低维流形上的数据,相对于周围空间的体积测度并不具有满维密度。加入观测噪声、引入辅助变量,或采用专门针对流形的构造,都会改变建模问题,使其能够定义适当的密度。
拓扑结构也会约束表达能力。连通支撑集在连续可逆映射下的像仍然连通。因此,标准高斯基分布无法通过全局微分同胚变换成支撑集由真正互不连通的分支组成的分布。它可以通过为连接区域赋予极低的概率来近似彼此分离的簇,但这可能需要变化极为剧烈的变换。
对于角变量、旋转、球面或分子约束,欧氏空间上的流可能引入人为的不连续性,或忽略重要结构。相比之下,流形流会相对于相关的几何体积测度来定义变换和密度修正项。增广扩展和非双射扩展可以放宽其他限制,但对新增变量进行边缘化,或处理多对一映射时,原本简单的精确似然可能会被积分或变分下界所取代。
在推断、生成与科学采样中的应用
归一化流可用作向量、图像和时间序列的通用密度估计器。当下游计算不仅需要看似合理的样本时,其提供归一化概率密度的能力便十分有用。例如,在异常检测中,拟合后的模型可以根据负对数似然给样本评分。不过,这类分数描述的是样本在所学分布下的非典型程度,并不能自动识别语义上的新颖性、物理故障或恶意行为。
音频合成体现了快速求逆的价值。Ryan Prenger、Rafael Valle 和 Bryan Catanzaro 于 2018 年提出的 WaveGlow,使用基于流的变换,以梅尔频谱图为条件生成语音波形。FloWaveNet 则是同期另一种基于流的声码器。这些系统利用耦合式计算,避免了许多自回归波形模型所需的逐采样点生成过程,同时保留了基于似然的训练目标。
在贝叶斯推断中,归一化流可以近似具有相关、偏斜或多模态结构的后验分布。条件流可以针对多种观测学习一族后验分布,从而摊销推断成本。在基于模拟的推断中,即使模拟器无法提供解析上易于处理的似然,也可以利用合成的参数—观测对训练条件密度估计器。其准确性仍取决于模拟的覆盖范围、模型容量和验证;仅有可逆性并不能保证后验分布的正确性。
科学采样利用归一化流,为由能量函数定义的分布提出候选构型。Frank Noé 及其同事于 2019 年提出的玻尔兹曼生成器,将可逆神经网络变换与统计力学目标相结合,用于生成分子构型。对于正比于 的目标分布,可计算的提议密度使得构造包含 的重要性权重成为可能。原则上,这可以校正分布间的偏差,但权重差异过大会降低估计效率。
基于流的提议分布也可以纳入马尔可夫链蒙特卡洛。Metropolis–Hastings 接受规则会考虑所学提议分布与目标分布之间的不匹配。在格点场论中,研究人员探索了利用基于流的采样器生成全局候选构型并降低自相关的方法。其有效性取决于能否学到相关结构,以及能否保持或正确处理物理系统的对称性。
由于归一化流能够提供概率,它也可以支持将概率模型转化为码长的无损数据压缩方案。实际压缩还需要合适的离散表示和具体的编码过程;连续密度值本身并不是码长。纵观这些应用,起决定作用的是采样与概率计算的结合,而不仅仅是生成能力。
评估、局限性与相关生成模型
归一化流经常被拿来与变分自编码器和生成对抗网络比较。传统的变分自编码器引入潜变量和观测模型,通常通过优化数据似然的下界来训练。传统的对抗模型通过判别器进行学习,通常无法提供可高效计算的归一化数据密度。相比之下,双射流通过显式变换获得这一密度。混合模型可以将这些组成部分结合起来,因此,这些区别针对的是各类模型的标准形式,而非彼此互斥的类别。
自回归密度模型也能提供归一化的似然,但其实现方式是将条件概率相乘,不一定依赖显式的可逆变换。对于连续变量,适当的条件累积分布函数可以将自回归分解与三角流联系起来。在实际运算中,这两种方法都可能面临顺序生成带来的开销,而耦合流则允许更多并行计算,代价是每一层都受到结构限制。
似然是一项要求严格但并不全面的评估指标。深度生成模型研究表明,分布外输入获得的似然可能高于来自训练分布本身的样本。埃里克·纳利斯尼克及其同事在2018—2019年记录了这一现象,其中包括对基于流的图像模型开展的实验。密度可能在很大程度上受到背景强度或局部变化等低层次统计特征的影响,而非评估者认为重要的语义类别。
高维几何进一步增加了解读的难度。一个分布中密度最高的点,不一定处于包含其大部分概率质量的区域。对于高维标准高斯分布,原点处的密度最高,但典型样本到原点的距离约为 。因此,仅按逐点密度对观测进行排序,并不等同于评估它们是否具有典型的联合特征。这一区别有助于解释,为何似然阈值作为通用的新颖性检测手段可能并不可靠。
可逆性也不能保证学习高效或数值稳健。流可能只有通过剧烈的拉伸和压缩,才能逼近目标分布。深层复合变换可能变得病态,而连续流可能需要开销高昂的数值积分。常规的流也难以进行边缘化:尽管完整的联合密度有显式表达式,但对任意一部分坐标积分消去,通常并没有闭式解。
因此,评估时会分别报告多个指标:留出数据上的似然、样本保真度与多样性、采样延迟、密度计算开销、参数数量以及数值精度。在科学应用中,还会考察可观测量、有效样本量、重要性权重的方差或马尔可夫链的接受率。对于条件推断,则通过校准性和覆盖率检验名义上的不确定性是否与实际表现一致。
流模型家族的选择取决于预期任务中哪种操作占主导地位。掩码自回归流更适合密度计算;逆自回归流更适合对已知的基分布样本进行变换;耦合流兼顾两个方向;连续流则以数值积分为代价,提供灵活的动力学。对于标准欧几里得空间上的双射会施加不恰当概率结构的领域,几何扩展和离散扩展提供了相应的解决方法。