CLIP 是“对比语言–图像预训练”(Contrastive Language–Image Pre-training)的缩写,指 OpenAI 开发的一系列多模态学习模型,用于将图像与自然语言描述关联起来。CLIP 于 2021 年 1 月推出,利用大规模图文配对数据,联合训练图像编码器和文本编码器。两个编码器的输出位于同一个表征空间中,训练使匹配的图像与描述之间的相似度高于不匹配的图文对。因此,CLIP 输出的是表征和相似度分数,而不是直接生成图像描述或回答问题。
CLIP 的主要贡献在于,使自然语言成为跨任务迁移视觉知识的实用接口。它不必针对一组固定标签单独训练分类器,而是可以将图像与推理时提供的描述进行比较,例如“一张自行车的照片”或“一张狗的照片”。这使其能够支持零样本学习、跨模态搜索,以及可复用的视觉表征学习。最初的研究还表明,利用来源广泛的网络数据作为监督信号进行训练,可以改善模型在某些分布偏移情形下的表现,但并不能消除偏差、对数据集的依赖或视觉推理中的失误。
CLIP 这一名称既指最初的训练方法,也指使用该方法训练的模型。后续实现往往保留 CLIP 的双编码器结构,同时调整数据、架构、训练目标或规模。这些变体采用相同的基本思路,但不能据此认为它们的能力和局限完全一致。
起源与概念贡献
在 CLIP 出现之前,现代计算机视觉研究主要围绕使用人工类别标签的监督学习展开。例如,在 ImageNet 数据集上训练的模型,学习的是区分预先指定的一组物体类别。模型的中间表示可以迁移到其他任务,但通常需要为此添加新的分类头、提供带标签的样本,并进行额外的优化。标签体系本身就是训练问题的一部分:即使视觉表示中包含相关信息,未纳入标签体系的类别也无法直接作为输出。
利用成对的图像和语言进行学习,当时已经是一个成熟的研究方向。早期系统已探索过图像描述生成、语义图像嵌入,以及图片与描述的匹配。DeViSE 等方法将视觉特征与语言表示联系起来,后续研究则进一步探索了图像与句子的联合嵌入,以及利用网络数据作为监督信号的视觉学习。将视觉信息与语言信息关联起来,并非 CLIP 首创。它的独特贡献在于,将一种简洁的对比学习形式与规模足够大、内容足够多样的训练数据及大量计算资源相结合,并系统评估了无需针对具体任务进行训练的迁移能力。
OpenAI 于 2021 年 1 月 5 日同时推出了 CLIP 和 DALL·E。技术论文《从自然语言监督中学习可迁移的视觉模型》(Learning Transferable Visual Models From Natural Language Supervision)由 Alec Radford 及其合作者撰写,发表于 2021 年国际机器学习大会。最初的研究使用 4 亿个图像—文本对训练模型,并在 30 多个计算机视觉数据集上考察了迁移能力。研究比较了不同的视觉架构和模型规模,而非仅仅提出一个固定的网络。推理代码和预训练权重的发布,也让研究者更容易通过实验探索这一方法。
其核心概念转变在于,将描述视为能够动态定义任务的监督信号。“西伯利亚哈士奇”这样的类别,无须对应一个预先固定在网络中的输出神经元;相反,可以在需要时计算其文本表示,再与图像表示进行比较。这样一来,代价高昂的表示学习过程便在很大程度上与下游类别的定义分离开来。
因此,CLIP 成为视觉与语言领域中颇具影响力的基础模型范例:一个预训练系统即可支持多种下游用途。这一称谓并不意味着它具备通用的视觉理解能力。其广泛的适用性来自可迁移的表示和灵活的文本接口,而其训练信号仍然是图像与配套语言之间的统计一致性。
双编码器架构与表征空间
CLIP使用两个独立运行的人工神经网络。图像编码器将图像 映射为特征向量 ,文本编码器则将文本序列 映射为向量 。通过学习得到的投影,两者的输出被映射到相同维度。随后对这些向量进行归一化,通常使其欧几里得范数为1:
此时,两者的点积就是它们的余弦相似度。匹配程度由表征之间的夹角决定,而不是由归一化前的向量大小决定。
原始论文分别研究了使用改进的残差卷积神经网络和视觉Transformer作为图像编码器的方案。其中,残差网络的改动包括抗混叠下采样和基于注意力的池化。在Transformer版本中,图像被划分为图像块,各图像块经嵌入后组成序列,再通过注意力机制融合整个序列中的信息。ViT-B/32和ViT-L/14等模型标识表示架构规模和图像块大小:后者使用宽、高均为14像素的图像块。图像块大小、输入分辨率、网络宽度和深度都会影响视觉处理的计算成本与精细程度。
原始文本编码器采用Transformer架构,使用带掩码的自注意力,最大输入序列长度为77个词元。其分词与词元化采用字节级字节对编码,并将文本结束位置的表征投影到共享空间中。因果掩码不应与自回归训练目标混为一谈:文本编码分支的优化目标是与图像匹配,而不是预测下一个词。同样,77个词元的限制是原始实现的特性,并非所有CLIP类系统都必须具备的特征。
共享的潜在空间是一种嵌入空间,即使其中的各个坐标不具有可供人类理解的含义,它仍然有用。相邻的点可能反映对象的身份、风格、场景类型,或从数据中学到的其他关联。无法保证某个坐标一定代表某个独立的视觉属性,也无法保证每一种语言上的区别都有同样清晰的视觉对应。这个空间的几何结构由匹配目标和训练样本的分布共同决定。
与通过交叉注意力联合处理每个图像—文本对的系统不同,CLIP对每种模态独立编码。这使得表征可以重复使用:在任何搜索查询到来之前,就可以预先计算数百万个图像向量。代价是,编码器无法在评分过程中针对具体的图像—文本对进行细致交互。两者的契合程度必须由一次相似度计算来概括,这有助于提高效率,但也可能掩盖个别词语与特定图像区域之间的关系。
对比学习目标与优化
CLIP通过对比学习进行学习。一个训练批次包含 个观测到的图像—文本对,通常记为 。每幅图像都与批次中的每段文本进行比较,生成一个 的相似度矩阵。对角线元素对应观测到的配对,而非对角线元素则被视为其他候选配对,通常应获得较低的分数。因此,训练任务不是重建图像或生成图像描述,而是从众多候选中识别出正确的配对。
对于归一化的图像向量 和文本向量 ,logit值通常表示为
其中, 是温度参数,用于控制比较结果的尖锐程度。图像到文本方向的损失函数为
文本到图像方向的损失函数则将分类方向反转:
最终的目标函数取这两个方向损失的平均值。原始实现会学习一个对应于温度倒数的logit缩放参数,而不是仅依赖固定的温度。
这一对称目标促使每幅图像识别与其关联的文本,同时促使每段文本识别与其关联的图像。两个编码器都通过反向传播进行更新。最初的CLIP训练采用了Adam优化器,配合解耦权重衰减和按计划调整的学习率。由于这一目标不要求为每个样本人工设计类别标签,因此常被称为自监督目标。更准确地说,它利用自然形成的图像—文本关联作为监督信号;这些关联仍然包含人类语言,以及人们对描述内容所作的选择。
大批次十分重要,因为它们能够提供大量相互竞争的样本。原始模型使用的批次大小为32,768对。这样的批次为每幅图像提供数万个候选匹配,使模型更难仅凭微弱、泛化的信号完成任务。同时,它也带来了很高的内存与通信开销。分布式实现会汇集不同加速器上的表示,使不同设备所处理的样本能够共同参与对比。
将每个非对角线配对都视为负样本的假设并不完全成立。两张不同的照片可能都拍摄了金毛寻回犬,而任一张照片的描述都可能适用于这两幅图像。这些假负样本表明,该损失函数是一种可操作的学习规则,而不是对语义真值的完整建模。反过来,给定的正样本配对也可能只有松散的关联,甚至具有误导性。后续的对比学习方法探索了多个正样本、其他负样本处理方式以及不同的损失函数,但这些改动构成的是变体,而非原始CLIP方案的必要条件。
训练语料、预处理与规模
最初的 CLIP 模型使用名为 WebImageText 的网络数据集进行训练,其中包含 4 亿个图像—文本对。数据收集过程使用了大量文本查询,以覆盖广泛的视觉概念,同时设置限制,避免个别查询在数据集中占据过大比例。这与仅使用范围相对狭窄、经人工整理的物体类别进行训练的做法有很大不同。这些数据提供的监督信息可以包含名称、描述、风格用语,以及传统类别标签所不涵盖的上下文信息。
不过,网络文本并不等同于经过仔细核实的图像描述。它可能描述的是图片所在的文章,可能在讲笑话、提及图片中不可见的实体,也可能包含宣传用语。因此,模型学习的信息既包括有视觉依据的内容,也包括上下文关联。大规模汇总数据可以让有用的模式从含噪的个别样本中浮现,但并不保证某种关联具有视觉依据。模型的表示除了编码物体外观,也可能编码呈现风格与主题内容之间的相关性。
最初的 WebImageText 语料库并未作为可下载的训练数据集公开。因此,代码和模型权重的发布使人们能够进行推理和下游实验,却无法精确复现完整的数据处理流程。后续项目(包括 OpenCLIP)提供了开放的实现,并在其他数据集上训练相关模型,其中尤以 LAION 系列数据集为代表。这些工作提高了可复现性,也让模型更易获取;但即使架构名称相同,在不同语料库上训练的模型也并非原始系统的精确复现。
预处理也是界定模型实际行为的一部分。最初的 CLIP 在训练时会调整图像尺寸并进行随机裁剪,而在评估时通常采用确定性的尺寸调整和中心裁剪。像素值按照指定的通道统计量进行归一化。文本则经过分词处理,并限制在编码器允许的序列长度内。改变裁剪方式可能会移除关注的物体;改变分辨率则可能影响细小特征的可见程度。因此,即使学到的权重不变,采用与模型不兼容的预处理方式也可能导致性能下降。
最初的实验进行了 32 轮训练,并比较了多种计算规模。结果表明,增加训练计算量能够改善迁移表现,同时也揭示了残差网络视觉编码器与基于 Transformer 的视觉编码器之间的差异。扩大规模不只是增加参数量:图像分辨率、数据集构成、处理的图像—文本对数量、批量大小以及优化方法都会产生影响。由此带来的对图形处理器、存储吞吐量和设备间通信的需求,使大规模 CLIP 训练不仅是一个统计问题,也是一个分布式计算问题。
零样本分类与适配
要将 CLIP 用于图像分类,任务设计者需要提供候选类别的描述。如果类别 由文本 表示,其归一化嵌入 就充当分类器的权重。对于图像嵌入 ,预测结果为
引入这组类别词表不需要进行梯度更新。因此,可以利用动物、动作、场景或所学表示能够支持的其他概念的描述来构建分类器。在这一情境下,“零样本”是指不使用目标分类任务中带标签的训练样本来拟合分类器;这并不意味着模型在预训练期间从未接触过相关概念。
措辞会对效果产生显著影响。单独的类别名称可能存在歧义,也可能与训练时图像所配的文本不相似。最初的研究发现,与仅使用类别标签相比,采用“一张{标签}的照片”之类的模板可以提升性能。针对具体数据集调整措辞也有助于区分对象照片、卫星图像或纹理样本等不同类型的图像。这是将提示工程用于非生成式模型的一个早期代表性案例:提示用于确定一种表示,而不是引导模型生成文字回答。
提示集成可以减少对单一表述方式的依赖。其做法是对同一类别的多个描述进行编码,合并这些描述的表示,再使用所得的类别向量进行比较。模板可以从不同视角、摄影取景方式或其他角度描述同一类别。这可以提高稳健性,但提示的选择本身也是评估方案的一部分。如果针对目标测试集进行大量调优,就难以再声称所报告的性能反映了未经针对性调整的迁移表现。
相似度 logit 可以通过 softmax 转换为各候选类别的得分:
这些得分以候选集合 为条件。增加或移除标签会改变分母,也可能改变表面上的置信度。因此,不应直接将这些输出解读为某个陈述为真的、经过校准的概率,也不应将其视为图像必然属于所提供类别之一的证据。
CLIP 也支持有监督适配。线性探测在冻结的图像特征上训练分类器,以检验在不修改编码器的情况下,能否轻易提取出任务所需的信息。完整微调则会更新部分或全部预训练参数。其他方法会在保留大多数权重的同时,学习提示向量或小型适配模块。这些方法可以提高目标任务的准确率,但它们不同于零样本评估,也可能改变模型的稳健性或迁移表现。其结果不仅取决于预训练模型的质量,还取决于下游数据的数量与分布。
评估、迁移与鲁棒性
最初的 CLIP 研究评估了广泛的任务,而没有将 ImageNet 准确率视为衡量视觉能力的充分指标。研究报告中表现最好的零样本 ImageNet 模型取得了约 76.2% 的 top-1 准确率,与广泛采用的监督学习 ResNet-50 基准结果相当。这一比较具有重要意义,因为 CLIP 的分类器是根据类别的文字描述构建的,而非在 ImageNet 带标签的训练集上训练得到的。但这并不意味着 CLIP 使用的总数据量或计算量更少:它的预训练语料规模要大得多。
评估区分了零样本迁移与线性探测的表现。零样本结果综合衡量视觉表示、文本表示,以及所选描述与任务的契合程度。线性探测则更直接地评估:能否利用带标签的样本,从冻结的图像特征中预测目标标签。因此,一个模型可能在一种评估方案下表现良好,在另一种方案下却表现较差。混合这两种设置进行比较,会将任务特定监督量不同的情况混为一谈。
一项主要发现涉及分布偏移。当相同类别以素描、艺术创作、非常规视角或本身就难以识别的照片等形式出现时,标准图像分类器的准确率可能会下降。CLIP 在若干此类基准上表现出更好的有效鲁棒性:相对于其在标准 ImageNet 上的准确率,它在分布发生偏移时的性能降幅往往小于传统监督学习模型。广泛的训练数据和自然语言监督与这一表现有关,但这一结果并不保证模型能应对所有类型的偏移。
模型在不同类型任务上的表现仍不均衡。最初的分析指出,模型在一些细粒度识别任务、计数、抽象分类和专业领域图像上存在困难。区分两款外观相似的车型,可能需要依赖网络图像说明中很少体现的细节。计数要求模型对数量敏感,而不只是识别某个类别是否存在。医学或遥感图像的特征,可能与通用网络数据所体现的摄影和语言惯例存在显著差异。
大规模网络数据集也使预训练与评估之间严格分离的说法变得复杂。最初的研究调查了训练数据与评估数据集之间的重叠,但检测重复图像并不能排除所有形式的数据泄漏(机器学习)。近似重复的图像、相互关联的图像集合,以及接触过基准描述等情况,都可能造成更隐蔽的依赖关系。因此,零样本评估方案描述的是下游分类器的构建方式;它本身并不能证明预训练语料中不含与基准相关的信息。严谨的评估会区分完全重叠、对更广泛分布的熟悉程度,以及真正迁移到新条件下的能力。
检索、生成系统与多模态应用
CLIP 的双编码器设计特别适合信息检索。在文本搜图中,系统预先对图像集合进行编码,并在执行搜索时对文本查询进行编码,再按照图像与查询向量的相似度对图像排序。同样的机制也支持以图搜图;如果为文本记录建立索引,还可以实现以图搜文。查询可以描述概念,而不必使用确切的文件名或人工标注的标签,因此,即使图像元数据中没有“一艘靠近雪山的红色小船”这样的短语,也能进行此类搜索。
在大规模应用中,检索系统通常将 CLIP 嵌入与近似最近邻索引结合使用。计算开销较大的视觉编码步骤可以与在线查询处理分离,而向量压缩和索引则能降低存储与搜索成本。生产系统还可能加入过滤器、元数据约束,或计算开销更大的重排序模型。这些组件很重要,因为较高的 CLIP 得分可能只反映宽泛的语义相似性,并不意味着满足了查询中的每一项条件,例如精确的数量、特定的物体关系或指定的位置。
CLIP 也被用于生成式图像系统,尽管它本身并不是图像生成器。在 CLIP 引导的生成过程中,生成图像与目标描述之间的相似度提供了优化信号。梯度可以用于调整图像像素、生成器的潜变量或采样过程,使输出在 CLIP 的评估下更符合描述。早期利用 CLIP 引导图像合成的实验表明,识别模型无须自身学习如何生成图像,也能提供有效的语言引导。
后来的架构以更具结构化的方式使用 CLIP 表示。DALL·E 2 训练了一个先验模型,将文本信息映射为图像嵌入表示,再由解码器以该表示为条件生成图像。一些扩散模型,包括早期版本的 Stable Diffusion,使用预训练的 CLIP 文本编码器为图像生成提供条件。这些用途各不相同:将 CLIP 用作基于相似度的引导模型、预测其图像嵌入,以及复用其文本编码器,并不是对同一机制的不同说法。
源自 CLIP 的视觉编码器也成为将图像与大语言模型相结合的系统的组成部分。投影层或连接器将视觉特征转换为语言模型可用的表示,之后通常还会进行额外的多模态训练。这类系统能够生成回答,是因为它们包含具有生成能力的语言组件,而不是因为原始的 CLIP 编码器能够生成语言。相关应用还将 CLIP 特征拓展到目标检测和语义分割,但这些任务需要额外的机制来定位区域或分配像素级标签,超出了原始全局图像—文本相似度得分所能提供的能力。
局限性、偏差与后续发展
组合式理解是 CLIP 的一项主要局限。CLIP 可能识别出句子中提及的物体,却无法充分表征它们之间的关系。例如,“狗追人”和“人追狗”所用的词语相近,描述的却是不同的事件。模型还可能将属性错误地归于其他物体,对空间关系词的区分也可能不够清晰。这些问题与其训练目标相吻合:该目标奖励图像与描述在整体上的一致性,却不明确要求将每个短语精确对应到特定的视觉区域。
语义关联与视觉证据之间的区别,也体现在文字攻击中。相关演示表明,在图像中加入文字会显著影响 CLIP 的分类结果,有时甚至使文字的影响盖过图中物体本身的外观。识别图像中可见的文字本身并不是错误:标牌、包装和标签往往能提供有用信息。问题在于,当任务要求识别物体本身时,模型却仍然依赖这些文字。这说明,在一种评估条件下有用的习得能力,换到另一种条件下可能成为模型取巧的捷径。
从大规模网络语料中学习的另一个后果是偏差。原始研究中的测试表明,为人物图像提供不同的候选标签,可能使分类结果发生实质性变化。涉及人口统计属性、职业和评价性类别的关联,既可能反映训练数据的分布,也可能受到任务措辞的影响。原始模型对英语的覆盖也远强于对许多其他语言的覆盖。共享嵌入空间并不能消除文化或语言上的不均衡;它可能在检索排名和分类得分中复现这些不均衡。
基于 CLIP 的评估还带来了另一项方法论问题。CLIP 相似度得分可用于衡量图像与文本的匹配程度,但无法全面衡量图像质量或事实正确性。一张生成的图片即使存在数量错误、细节畸形或关系错误,也可能获得高分。直接针对同一个评估器优化生成器,还可能进一步利用该评估器的弱点。在比较训练过程中已经使用 CLIP 衍生特征或奖励的系统时,这一点尤其值得注意。
后续研究探索了规模更大、更多样化的数据集、多语言文本编码器、区域级监督、图像描述增强,以及能够提高模型对属性和关系敏感度的训练目标。OpenCLIP 扩展了由可复现实现和预训练权重构成的生态。SigLIP 等相关方法则用基于 sigmoid 的成对损失取代了原先基于批次的 softmax 形式,从而改变了正、负图文对参与训练的方式。这些发展保留了可迁移视觉—语言表示这一总体思路,同时采用了不同的实现机制。在解读任何特定模型的实测表现时,数据来源、预处理方式、架构和训练目标上的差异仍然至关重要。