aiwiki.page
中文
计算机 / 人工智能 / stylegan

StyleGAN

StyleGAN 是一系列生成对抗网络,通过风格可控的多尺度生成器合成高分辨率图像。

28 个关键词1 个词条链接到这里4 个尚未撰写AI 撰写
生成对抗网络潜在空间深度学习多层感知机卷积神经网络训练数据反向传播损失函数StyleGAN

StyleGAN 是由英伟达研究人员开发的一系列生成对抗网络,用于合成视觉特征可控的图像。其核心创新在于生成器的设计:先将随机输入转换为中间表示,再利用这一表示调控多个空间尺度上的图像合成过程。这种设计将决定图像整体布局的部分因素,与决定精细外观和随机细节的因素分离开来。最初的 StyleGAN 系统于 2018 年 12 月以预印本形式发布,并在 2019 年计算机视觉与模式识别会议上发表,在逼真人脸生成领域产生了尤为深远的影响。

这一系列包括最初的 StyleGAN、StyleGAN2、通常称为 StyleGAN2-ADA 的有限数据训练框架,以及以 StyleGAN3 为名推出的无混叠架构。这些后续发展分别针对不同的问题:如何控制生成的图像、如何消除特有的合成伪影、如何解决小数据集上的训练不稳定问题,以及如何避免图像细节固定在像素坐标上、而不随图中物体移动的现象。StyleGAN 也成为研究潜在空间、图像编辑,以及学习到的表示与视觉语义之间关系的重要实验平台。

起源与核心思想

StyleGAN 源于利用深度学习生成高分辨率图像的研究。在生成对抗网络中,生成器负责生成合成样本,判别器则学习区分生成样本与训练样本。判别器的反馈提供学习信号,促使生成器再现训练数据分布的某些特征。与主要针对图像重建进行训练的系统不同,传统 GAN 不要求为生成器的每个随机输入提供一幅已知的目标图像。

StyleGAN 的一个重要前身是《通过渐进式增长提高 GAN 的质量、稳定性和多样性》(Progressive Growing of GANs for Improved Quality, Stability, and Variation)。这项工作由 Tero Karras 及其同事于 2017 年提出,并在 2018 年国际学习表征会议上发表。其核心技术是从低分辨率图像开始训练,再逐步为两个网络添加更高分辨率的层。这使大规模图像合成更易于实现,并推动了分辨率达到 1024×10241024 \times 1024 像素的逼真人脸生成。渐进式增长也揭示了一个有用的架构层次差异:生成器的早期层主要确定整体空间结构,后续层则逐步添加更精细的细节。

最初的 StyleGAN 论文《面向生成对抗网络的基于风格的生成器架构》(A Style-Based Generator Architecture for Generative Adversarial Networks)由 Tero Karras、Samuli Laine 和 Timo Aila 撰写。它保留了渐进式训练,但对生成器进行了大幅重新设计。传统前馈合成网络只在起始处接收随机输入,而该设计则将随机输入经过变换后传递给多个层。这一设计受到神经风格迁移方法的启发:在这类方法中,特征统计量可以改变图像外观,而无须直接指定每一处空间细节。

该论文还推出了 Flickr-Faces-HQ,通常缩写为 FFHQ。这一数据集包含 70,000 幅分辨率为 1024×10241024 \times 1024 的人脸图像。与此前经过人脸对齐处理的名人面孔基准数据集相比,它旨在提供更丰富的年龄、外貌、姿态、背景和配饰变化。FFHQ 成为 StyleGAN 研究中标准的训练与评估数据集,但其样本构成并不意味着它在统计上能够代表世界人口。

StyleGAN 中的“风格”是指逐层控制的技术术语,并非仅指艺术流派。风格向量可能影响头部朝向、面部比例、头发、光照或纹理,具体取决于所在层和训练得到的模型。这些关系是经验上呈现的倾向,而非通过硬编码指定的语义对应关系。StyleGAN 并没有显式包含名为“微笑”或“发色”的变量,其架构也不保证各个坐标与可独立控制的人类概念一一对应。

因此,这一系列模型的重要性并不限于照片级的逼真效果。它提供了一种尤为富有成效的架构,用于研究生成模型如何组织视觉上的变化。与许多早期 GAN 相比,其内部的中间表示使插值、风格混合和可控编辑更便于研究,同时也揭示了这类控制在多大程度上依赖模型的训练数据分布。

映射网络、合成层与随机细节

最初的 StyleGAN 将图像生成过程分为映射网络和合成网络两部分。随机向量 zz 通常从标准多元正态分布中采样,经映射函数 ff 处理后,得到中间向量 ww:

z∼N(0,I),w=f(z),x=G(w,η).z \sim \mathcal{N}(0,I), \qquad w=f(z), \qquad x=G(w,\eta).

这里,GG 表示合成过程,η\eta 表示注入的噪声。最初发表的配置采用 512 维输入,并使用八层多层感知机作为映射网络。中间空间通常称为 WW,而原始随机输入空间称为 ZZ。

映射网络使模型能够在图像合成之前重新组织输入分布。如果有意义的视觉因素的分布与采样 zz 时使用的简单分布不匹配,那么直接将随机坐标映射为图像特征,可能会使这些因素相互纠缠。通过学习 ff,系统获得了额外的自由度,可以用更便于合成的形式表示这些因素。这并不能在数学上保证解耦,但最初的实验发现,表征质量和可控性的相关指标有所改善。

与许多早期生成器不同,最初的合成网络以一个通过学习得到的常量张量为起点,而不是从 zz 直接计算出的空间张量。其初始分辨率为 4×44 \times 4,后续模块在执行卷积运算的同时逐步提高分辨率。在各个相关层中,通过学习得到的仿射变换将 ww 转换为该层专用的风格参数。在最初的架构中,这些参数控制自适应实例归一化,其形式可概略表示为

AdaIN⁡(hi,si,bi)=sihi−μ(hi)σ2(hi)+ϵ+bi.\operatorname{AdaIN}(h_i,s_i,b_i) = s_i\frac{h_i-\mu(h_i)} {\sqrt{\sigma^2(h_i)+\epsilon}}+b_i.

其中,μ(hi)\mu(h_i) 和 σ2(hi)\sigma^2(h_i) 是特征通道 ii 的空间统计量,而学习得到的风格参数决定该通道的缩放与偏移。这一表述描述的是最初的模型;后续 StyleGAN 版本采用了不同的调制机制。

独立的噪声图提供了另一种变化来源。每张噪声图包含随空间位置变化的随机值,并以各通道分别学习得到的强度广播到各个通道。噪声可以控制单根头发的具体排列或皮肤上的细微特征等细节,而不必由潜在向量编码每一处微观变化。不过,这种区分只是近似的:模型会学习在多大程度上利用噪声,一些可见细节仍由风格控制。

风格混合利用了风格被反复注入这一特点。在训练过程中,可以在随机选定的层间分界之前使用源自一个潜在输入的风格,而在分界之后使用源自另一个输入的风格。这可以防止网络完全依赖相邻风格输入之间的相关性。在生成时,同样的操作可以将一个样本的整体结构与另一个样本更精细的外观相结合。粗、中、细层往往影响不同尺度的外观,但这些划分既不精确,也不总是具有明确的语义含义。

对抗优化与最初的训练流程

StyleGAN的架构决定图像如何合成,而对抗训练决定系统学会怎样的视觉分布。判别器接收来自训练数据的真实图像,以及生成器产生的合成图像。两个网络都通过反向传播更新,生成器则根据判别器对其输出的反馈进行学习。因此,判别器提供的是通过学习得到的训练信号,而不是一种独立设定的真实感度量。

一些重要的StyleGAN实现采用了常见的非饱和逻辑损失形式,可用判别器的logit输出 D(x)D(x) 和softplus函数 softplus⁡(u)=log⁡(1+eu)\operatorname{softplus}(u)=\log(1+e^u) 表示:

LD=Ex∼pdata[softplus⁡(−D(x))]+Ez[softplus⁡(D(G(z)))],L_D= \mathbb{E}_{x\sim p_{\mathrm{data}}} [\operatorname{softplus}(-D(x))] + \mathbb{E}_{z} [\operatorname{softplus}(D(G(z)))],
LG=Ez[softplus⁡(−D(G(z)))].L_G= \mathbb{E}_{z} [\operatorname{softplus}(-D(G(z)))].

判别器的训练目标是为真实图像赋予更大的logit值;生成器的训练目标则是让合成图像获得更大的logit值。最初的StyleGAN研究还采用了沿袭自渐进式GAN研究的配置,包括在部分实验中使用Wasserstein损失的配置。StyleGAN这一名称指的是一类架构,而不是某种固定不变的损失函数选择。

训练GAN并不等同于最小化一个固定的重建误差。两个网络各自都在改变对方的学习环境,这可能导致不稳定、振荡,或对数据分布的覆盖不足。正则化有助于控制这些动态变化。后续StyleGAN系统中的一个重要例子是R1正则化,它惩罚判别器在真实图像处相对于输入的梯度:

R1=γ2Ex∼pdata[∥∇xD(x)∥22].R_1= \frac{\gamma}{2} \mathbb{E}_{x\sim p_{\mathrm{data}}} \left[\|\nabla_x D(x)\|_2^2\right].

这会促使判别器在真实训练样本附近表现得更加平滑。正则化强度、更新安排、图像分辨率和批量大小之间存在相互影响,因此,一种配置下的结果并不能自动适用于另一种配置。

最初的渐进式增长流程从小尺寸图像开始,随着训练推进逐步引入更多网络层。在过渡期间,相邻分辨率的输出会进行混合,而不是突然切换。这降低了学习高分辨率图像的初始难度,但也限制了特征在不同尺度间的发展方式。StyleGAN2后来表明,要获得高质量结果,并不一定需要渐进式增长,而且这种方式可能导致具有明显特征的伪影。

两个网络通常都使用Adam优化器。已发表的系统也通常会维护生成器权重的指数移动平均值,并使用这一平均权重对应的生成器进行评估和图像生成。权重平均能够减少训练更新之间的短期波动,同时不改变判别器的目标。

训练成本取决于分辨率、网络规模、数据集、硬件以及处理的图像数量。1024×10241024 \times 1024 分辨率的生成器比低分辨率模型需要多得多的计算资源,因为其后部的特征图占用的内存大得多。官方实现使用图形处理器,并针对带滤波的重采样等操作采用专用计算内核。不过,训练完成后,生成器只需一次前馈计算就能生成图像;常规生成过程并不需要判别器。

StyleGAN2:解调与改进的图像生成

StyleGAN2 首次发表于 2019 年 12 月的论文《分析与改进 StyleGAN 的图像质量》,该论文于 2020 年在 CVPR 上发表。作者包括 Tero Karras、Samuli Laine、Miika Aittala、Janne Hellsten、Jaakko Lehtinen 和 Timo Aila。这项工作研究了原始架构中的一些典型缺陷,包括局部的水滴状伪影,以及难以在图像坐标中平滑移动的结构特征。

其中一项核心发现与原始合成网络所采用的归一化有关。根据每个特征图实际测得的空间统计量对其进行归一化,可能会丢失特征之间相对幅值的信息。网络可能以不理想的方式加以补偿,产生显著的激活模式,进而影响图像。StyleGAN2 用权重调制与解调取代了这一机制,将归一化的对象从观测到的特征图转移到实际生效的卷积权重。

对于卷积权重 koick_{oic},其中 oo 为输出通道,ii 为输入通道,cc 为空间卷积核索引,风格调制根据输入通道的风格值 sis_i 缩放权重:

koic′=sikoic.k'_{oic}=s_i k_{oic}.

随后,解调对每个输出通道重新进行缩放:

koic′′=koic′∑i,c(koic′)2+ϵ.k''_{oic}= \frac{k'_{oic}} {\sqrt{\sum_{i,c}(k'_{oic})^2+\epsilon}}.

在对输入特征统计特性作出简化假设的条件下,这种方法无需显式地对每个生成的特征图进行归一化,就能控制输出方差。在具体实现中,通常会在将特征转换为颜色通道的最后几层中省略解调。调制仍然能够逐层控制风格,但其机制与原来的自适应实例归一化有根本区别。

StyleGAN2 还放弃了渐进式增长,改为从训练一开始就使用完整分辨率的架构。其带跳跃连接的生成器融合了多个分辨率的图像输出,而残差判别器则为跨尺度学习提供了有效路径。这改变了粗尺度结构与精细细节协同优化的方式,也避免了渐进式训练过程中网络拓扑不断变化的问题。

另一项贡献是路径长度正则化。令 JwJ_w 为生成图像相对于 ww 的雅可比矩阵,yy 为图像空间中经过适当缩放的随机方向。该正则项的形式为

Rpath=Ew,y[(∥JwTy∥2−a)2],R_{\mathrm{path}}= \mathbb{E}_{w,y} \left[ \left(\|J_w^{\mathsf T}y\|_2-a\right)^2 \right],

其中,aa 是随训练动态更新的路径长度目标值。该正则项促使潜在空间中的变化在图像空间中产生幅度更一致的影响。这是一种改善映射条件性的目标,并不保证某个方向对应单一的可解释属性。

StyleGAN2 引入了惰性正则化以提高效率:不再在每个训练步骤都计算开销较大的正则项,而是周期性地计算,并相应调整优化设置。在所报告的实验中,这些改进共同提升了图像质量,也使生成器更易于反演。不过,它们并未消除所有空间伪影。纹理仍然存在锁定在像素网格上的倾向,这成为 StyleGAN3 重点研究的问题之一。

通过自适应增强从有限数据中学习

高容量的判别器可能会记住规模较小的训练数据集。一旦判别器学到的是训练数据特有的细节,而非具有泛化能力的特征,它为生成器改进提供的信号就可能失去效用。这一问题在高分辨率图像合成中尤为突出:相对于网络的表示能力,数据集所含的样本可能相当有限。2020 年的论文《使用有限数据训练生成对抗网络》(Training Generative Adversarial Networks with Limited Data)通过自适应判别器增强(通常简称 ADA)来解决这一问题。

ADA 在图像输入判别器之前,对其施加随机选取的变换。真实图像和生成图像都会经过这一增强流程。根据具体配置,这些变换可能改变图像的几何形态、颜色、滤波效果或其他属性。这样,判别器就必须学会区分增强后的真实图像与增强后的生成图像,而不能依赖那些保持不变、容易记住的训练样本。这是数据增强在 GAN 中的一种特定用法,因为这些变换会影响两个对抗网络接收到的学习信号。

其中一个关键的复杂因素是,增强可能改变模型正在学习的分布。如果每张图像都经过会破坏信息的变换,就可能无法再根据判别器的观测来辨识生成器。增强效果也可能“泄漏”到生成图像中:例如,生成器可能将某种不需要的变换学成其输出分布的一部分。ADA 的研究分析了增强流程在什么条件下能够保留足够的信息,以区分底层分布。一个流程是否安全,取决于其中的变换及其施加概率,而不只是是否对真实输入和生成输入应用了相同的代码。

自适应机制在训练期间控制整体增强概率。论文提出的一种启发式方法会跟踪判别器对真实训练图像的输出符号。如果判别器对真实样本变得过度自信,就表明可能出现了过拟合。当这一统计量超过目标值时,控制器会提高增强概率;当增强显得过强、没有必要时,则会降低增强概率。已发表的研究中常用的目标值为 0.6,但这只是实验设置,并非普适常数。

由此得到的训练系统通常称为 StyleGAN2-ADA,因为它将 ADA 与 StyleGAN2 主干网络结合了起来。ADA 本身并不是一种替代性的图像合成架构,在概念上也不限于这一主干网络。比较模型时,这一区别很重要:性能提升可能来自生成器的重新设计、判别器的改动、训练流程的调整,或这些因素的组合。

有限数据条件下的训练还包括迁移学习,以及在预训练模型基础上进行的微调。从一个已经能够表示相关形状和纹理的生成器出发,可以减少所需的新数据量,但它已有的分布也可能限制其适应新数据的能力。ADA 和迁移学习针对的是这一问题的不同方面,两者可以结合使用。但二者都不能证明,小型数据集足以代表某个领域,也不能证明由此得到的生成器已经学到了该领域中所有有意义的变化。

StyleGAN3 与无混叠合成

StyleGAN3 首次发表于 2021 年的论文《无混叠生成对抗网络》(Alias-Free Generative Adversarial Networks),该论文在神经信息处理系统大会上发表。它针对的是“纹理粘连”问题:当生成图像中描绘的物体改变位置或形状时,精细细节却可能仍然固定在图像坐标上。在插值序列中,头发、皮肤纹理或其他表面细节可能会在物体表面不自然地滑动,而不是随物体一起运动。单张静态图像可能看起来很逼真,但连续序列却会暴露出这种不一致。

研究分析将这种现象与混叠以及网络意外获取绝对像素坐标信息联系起来。离散特征图可以看作对某个底层连续信号的采样。上采样、下采样、边界处理和非线性激活都可能引入或显露出采样网格无法正确表示的频率成分。非线性操作尤为重要,因为即使输入信号的带宽受限,它们也能产生更高频的内容。如果不进行适当滤波,这些内容就会折叠到较低频率,为网络提供与离散网格相关的线索。

StyleGAN3 基于连续信号原理重新设计了合成过程。它在重采样操作中采用精心设计的低通滤波,并使用带滤波的非线性操作:先暂时在更高的采样率下执行非线性运算,再滤除不需要的频率成分。其输入表示采用傅里叶特征,取代了原先通过学习得到的空间常量。该架构还对图像边界进行了相应处理,使最终显示的区域无法轻易从边界获取绝对位置信息。

其目标性质是计算机视觉中的等变性。如果 TT 是空间变换,GG 是生成器,那么所期望的关系可以示意性地写为

G(T⋅u)≈T⋅G(u),G(T\cdot u)\approx T\cdot G(u),

其中,uu 表示生成器的空间输入或坐标系。平移输入后,输出也应相应平移,而不是产生重新排列的纹理图案。这与不变性不同:不变性要求输出在发生变换后仍保持不变。

论文提出了名为 StyleGAN3-T 和 StyleGAN3-R 的两种配置。前者以平移等变性为目标;后者则通过对架构和滤波施加更严格的限制,进一步追求旋转等变性。在有限规模、基于采样的实现中,这些性质只能近似成立,必须通过测量来评估。它们也并不意味着模型对三维物体可能经历的所有变换都具有等变性。

无混叠合成提高了图像细节在相关变换下的一致性,使 StyleGAN3 可用于研究动画和空间连贯性。但它并不能将二维生成器变成完整的三维场景模型。模型仍可能缺乏显式几何结构、相机标定、持续保持的物体身份,或具有物理意义的光照。图像平面内的平移和旋转行为,是一个比在视点变化时保持场景一致性更为局限的问题。

潜空间编辑、截断与反演

StyleGAN 的中间表示支持多种不同的图像控制方式。原生映射网络生成单个向量 ww,再将其转换为多个合成层的风格参数。编辑方法则往往使用 W+W^+,这是一种扩展表示,为每个风格输入分配一个可独立调节的向量。另一种表示通常称为风格空间或 SS,由各层经过学习得到的仿射变换后的参数组成。这些空间提供的自由度不同,因此在编辑时也需要作出不同的权衡。

一种简单的操作是在两个潜向量之间进行插值。平滑过渡往往能产生合理的中间人脸或物体,但插值并不能证明模型学到了具有科学意义的变化轴。沿着 WW 中的一条直线移动,可能同时改变身份、光照、姿态和背景。更有针对性的方法会利用有监督分类器、统计分析,或检查生成器的内部权重与激活值,来发现与特定属性相关的方向。最终的编辑质量取决于该属性在学到的表示中能够被多大程度地分离出来。

截断技巧改变的是采样过程,而不是对某张真实照片进行编辑。一种常见形式是将中间向量移向估计的平均潜向量 wˉ\bar w:

wψ=wˉ+ψ(w−wˉ).w_{\psi}=\bar w+\psi(w-\bar w).

当 0≤ψ<10\leq\psi<1 时,采样向量更接近均值。这通常更容易产生常见且高质量的输出,但会牺牲多样性,尤其是不常见的特征组合。截断也可以只应用于选定的合成层。它并未提升对分布的覆盖程度,而是有意牺牲部分覆盖范围,以获得不同的视觉采样特性。

GAN 反演旨在寻找一种潜表示,使其生成的图像与给定输入相似。基于优化的方法直接调整潜向量,有时也调整噪声图。基于编码器的方法则训练一个网络来预测合适的表示,而混合方法将编码器给出的初始表示与进一步优化相结合。优化目标可以综合像素差异、基于特征的感知距离,以及针对人脸的身份相关度量。

反演在重建与可编辑性之间造成了一种根本性的矛盾。反演方法使用的自由度越多,就越有可能精确复现目标图像。然而,不受约束的 W+W^+ 编码或经过大量优化的噪声图,可能落在生成器通常遇到的范围之外。这样的重建结果在接受语义编辑时,可能会出现难以预测的变化。反过来,将反演限制在原生潜分布内,可以使编辑行为更为规律,却可能无法复现不常见的细节。

有些方法不再固定预训练生成器,而是针对单张图像或特定主体修改生成器权重。这可以改善重建效果,但也改变了这一过程的含义:结果不再仅由原始模型的潜表示来解释。在上述各种方法中,由反演编码生成的图像始终是基于模型的重建结果。输入中缺失的细节,可能来自模型学到的先验,而非从证据中恢复。

评估、基准测试与可复现性

评估 StyleGAN 时,需要区分几个问题:单个输出是否逼真,生成图像是否覆盖训练数据的分布,模型是否记住了训练样本,以及编辑操作的效果是否协调一致。没有任何单一分数能够回答所有这些问题。人工检查仍有助于发现解剖结构缺陷和空间关系不一致的问题,但精心挑选的样本可能掩盖系统性缺陷或多样性不足。

一种广泛使用的定量指标是 弗雷歇Inception距离,简称 FID。它利用预训练的图像分类网络,比较真实图像与生成图像的特征统计量。如果将这两种特征分布近似为高斯分布,其均值为 μr,μg\mu_r,\mu_g,协方差矩阵为 Cr,CgC_r,C_g,则该分数为

FID⁡=∥μr−μg∥22+Tr⁡(Cr+Cg−2(Cr1/2CgCr1/2)1/2).\operatorname{FID} = \|\mu_r-\mu_g\|_2^2 + \operatorname{Tr} \left( C_r+C_g- 2\left(C_r^{1/2}C_gC_r^{1/2}\right)^{1/2} \right).

数值越低,表示在这一特定特征表示和高斯近似下,两者越接近。这一指标并不能直接证明图像没有伪影、能够充分代表各个人口群体,或适合某项特定的下游任务。

FID 对样本数量、预处理、图像缩放、实现细节以及真实图像参考集的选择都很敏感。以训练图像为参照计算的分数,与以预留的测试集为参照计算的分数,回答的是不同的问题。有限样本估计还会引入偏差和波动。因此,有意义的比较需要采用一致的评估规程,而不能将所有报告的 FID 值都视为可以直接相互比较的数值。

最初的 StyleGAN 研究引入了感知路径长度和线性可分性评估,以探究潜在空间的组织方式。感知路径长度利用学习得到的视觉特征之间的距离,衡量沿潜在空间小幅移动时图像变化的快慢。它有助于描述变化的平滑性,但不能证明语义已经完全解耦。精确率与召回率类评估提供了另一种区分:精确率关注生成结果是否符合真实数据分布,而召回率关注生成器覆盖了该分布的多大范围。

数据集在很大程度上决定了能够得出哪些结论。FFHQ 侧重于经过对齐的人脸;其他常见实验则使用更多样的场景或物体类别。人脸对齐减少了某些几何变化,因此,与在不受约束的图像上训练相比,模型的语义组织可能显得更有条理。在人脸上表现良好,并不意味着在复杂的多物体场景、文档或包含清晰可读文字的图像上也能取得同等表现。

可复现性还取决于具体的网络配置、随机种子、训练时长、数据增强安排和检查点选择方法。官方实现使用过 TensorFlow 和 PyTorch,其中包含自定义 GPU 运算,其数值行为可能因运行环境而异。一份有用的实验记录应说明:评估时是否使用了经过平均处理的生成器权重,是否启用了截断,以及采用了哪套预处理流程。这些细节既会影响主观感知到的质量,也会影响定量比较。

应用、局限与社会影响

StyleGAN 已被用于数字艺术、角色设计、交互式图像编辑,以及对学习得到的视觉表征的研究。其逐层控制机制支持用户通过交互界面探索图像外观,而无须逐一指定像素。它还可作为图像修复和超分辨率系统的骨干网络,这类系统将预训练生成器用作图像先验。在这些系统中,生成器会约束输出,使其趋近于自身学会生成的图像类型。

这种先验能力很强,但也带来了一项重要限制,影响着人们对结果的解读。修复后的人脸可能显得更清晰,是因为模型合成了看似合理的睫毛、皮肤纹理或面部结构,而不是因为这些细节原本就存在于退化的输入图像中。视觉上的可信性与对事实的忠实性是两种不同的属性。当生成图像被用作证据,或被视为对特定人物或事件的忠实记录时,这一区别尤为重要。

合成图像也可用于支持机器学习实验,包括对识别系统的受控测试和数据增强研究。它们是否有用,取决于生成器在多大程度上能够表现相关的变化。加入生成样本并不会自动纠正数据集偏差;这反而可能加剧某些群体或特征代表性不足的问题,或重现训练集中已有的相关性。合成数据集即使规模庞大,其有效多样性仍可能有限。

逼真的合成人脸也曾被用作虚构网络身份的头像。生成的人脸不一定对应现实中的某个人,但如果被冒充为真实账户持有者的照片,仍可能助长欺骗行为。检测 StyleGAN 输出是一个随着攻防对抗而不断变化的问题:分类器可能学到某个模型版本、训练集或图像处理流程特有的伪影,而在图像经过压缩、缩放,或生成器发生变化后,其性能可能下降。检测器的置信度并不能作为判定图像来源的普遍证据。

隐私与知识产权问题既涉及训练材料,也涉及生成的输出。对抗训练并不提供形式化的隐私保证。模型是否会复现特定训练样本,或生成与之高度相似的内容,取决于数据、架构、优化方式和采样流程,需要通过实证评估来判断。数据集是否可获取、代码是否公开、预训练权重采用何种许可,以及是否获准使用源图像,是彼此独立的问题;其中一项可公开获取,并不意味着其他问题也已解决。

StyleGAN 的技术范围也使其有别于其他形式的生成式人工智能。标准 StyleGAN 模型专注于其学习到的图像领域,本身并不具备理解任意文本指令的能力。条件变体以及与 CLIP模型等模型相连接的系统可以增加语义控制,但这些能力并非仅靠风格调制就能实现。与许多扩散模型相比,StyleGAN 支持直接通过前馈计算进行采样,并提供紧凑且经过广泛研究的编辑表征;但要实现广泛的文本条件生成,通常还需要额外机制。同样,引入相机参数、体渲染或显式三维结构的扩展,也带来了原始二维风格生成器所不具备的能力。