aiwiki.page
中文
计算机 / 人工智能 / zero-shot-learning

零样本学习

零样本学习利用可迁移的表征和语义信息,使模型无需目标类别或任务的标注样本即可识别新类别或执行任务。

41 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
机器学习大语言模型迁移学习监督学习词嵌入深度学习CLIP无监督学习零样本学习

零样本学习是一种机器学习方法,系统能够识别从未获得过相应标注样本的类别,或执行从未获得过任务专用标注样本的任务。系统并非直接从样本中学习每个目标,而是通过描述、属性、语言表征,或已知目标与未知目标之间的其他关系来迁移知识。例如,即使视觉分类器没有用带标注的斑马照片进行过训练,只要它能将“一种形似马、身上有黑白条纹的动物”这一描述与从其他数据中学到的视觉特征联系起来,就有可能识别斑马。

这个术语有两种密切相关的用法。在经典的零样本分类中,训练类别与评估类别被明确划分开来,两者通过语义信息建立联系。在当代大语言模型和多模态系统中,“零样本”通常指仅凭指令或描述执行下游任务,无需提供示例,也无需针对任务更新参数。两种用法都不意味着模型不依赖数据就能学习:可供迁移的能力通常来自大量的前期训练、监督或人类提供的知识。

零样本学习之所以重要,是因为当类别数量庞大、样本稀少、不断变化,或直到模型训练完成后才被定义时,穷尽所有类别进行标注并不现实。其核心问题包括:哪些知识可以迁移,如何指定新目标,以及如何确认表面上的成功并不依赖于模型曾在不知情的情况下接触过评估样本。

历史发展与范围演变

零样本学习是在迁移学习领域内发展起来的,但它对标准监督学习作出了突破,提出了格外严苛的要求。传统分类器学习的是训练集中输入与标签之间的关联。早期零样本研究探讨的是:能否借助描述,将标签与已经学到的属性联系起来,从而识别这些标签。这一思路将研究重点从记忆类别边界转向了表示类别之间的关系。

2008年,雨果·拉罗谢尔、杜米特鲁·埃尔汉和约书亚·本吉奥利用任务描述探索了零数据学习。在2009年IEEE计算机视觉与模式识别会议上,克里斯托夫·兰佩特、汉内斯·尼基施和斯特凡·哈梅林发表了《通过类间属性迁移学习检测未见物体类别》。他们的工作推动了基于属性的识别成为切实可行的研究方向。2009年的另一项重要成果是马克·帕拉图奇及其同事的《利用语义输出编码进行零样本学习》,该研究利用语义表示来预测概念,而不要求每个目标概念都有训练样本。

这些方法使类别描述能够实际用于识别。基于属性的系统不再将“斑马”视为一个任意的数字标识符,而是通过有条纹、四足、食草等属性来表示这一类别。有些属性可以从视觉上观察到,另一些则是只能间接预测外观的语义事实。借助共享属性,已知动物的样本也能为识别陌生动物提供相关证据。与简单地把在一个数据集上训练的分类器应用到另一个数据集相比,这种方法具有更明确的结构。

在2010年代初期,通过学习获得的语义空间变得日益重要。词嵌入使研究者能够从文本中获得类别表示,而不必逐一手动指定属性。安德烈娅·弗罗姆及其同事于2013年开发的DeViSE系统,将深度视觉表示与从语言中获得的语义空间连接起来。关于标签嵌入和兼容性函数的研究同样将识别视为图像与语义描述之间的匹配过程。深度学习的发展提升了视觉特征的质量,但也带来了评估问题:特征提取器可能已经接触过那些被认为是未见的类别。

随着大规模语言预训练和图文预训练的发展,这一领域的范围进一步扩大。GPT-3在2020年的评估中区分了零样本、单样本和少样本提示;2021年推出的CLIP模型则展示了通过自然语言类别描述对广泛类别的图像进行分类的能力。这些进展并未取代经典定义,但使评估单位变得更加多样:一个类别、一个数据集、一个语言对,乃至整个任务,都可能被称为“未见”。因此,在比较不同时期的研究时,需要关注哪些内容被排除在训练之外、预训练包含了什么,以及评估时提供了哪些信息。

问题的形式化定义与学习器可用的信息

在经典的零样本分类中,带标注的训练数据包含来自已见类别集合 Ys\mathcal{Y}_s 的示例。评估则涉及与之不相交的未见类别集合 Yu\mathcal{Y}_u,满足

Ys∩Yu=∅.\mathcal{Y}_s \cap \mathcal{Y}_u = \varnothing.

每个类别 yy 都有一个辅助表示 a(y)a(y),例如属性向量、文本描述或语义嵌入。训练集可写为

Ds={(xi,yi)}i=1N,yi∈Ys.\mathcal{D}_s=\{(x_i,y_i)\}_{i=1}^{N}, \qquad y_i\in\mathcal{Y}_s.

学习器利用 Ds\mathcal{D}_s 和辅助信息,对缺少带标注训练示例的类别作出预测。如果已见目标与未见目标之间不存在任何关联,通常就无法识别任意一个新标签:标签本身并不提供证据,说明哪些输入属于该标签。

一种常见的决策规则是将输入归入匹配得分最高的候选类别:

y^=arg⁡max⁡y∈YcandidateFθ(x,a(y)).\hat y=\underset{y\in\mathcal{Y}_{\mathrm{candidate}}}{\arg\max} F_\theta(x,a(y)).

这里,FθF_\theta 是通过学习得到的评分函数。在常规零样本评估中,候选集合只包含未见类别;而在广义零样本学习中,候选集合同时包含已见类别和未见类别。这一区别会产生重要影响:如果告知模型每张图像都属于不熟悉的类别,它或许能够成功区分几种不熟悉的动物;但如果也允许选择熟悉动物的标签,它却可能将这些图像几乎全部归为熟悉的动物。

零样本学习也不同于少样本学习,后者为每个目标提供少量带标注示例;它还不同于无监督学习,后者不一定为发现的群组提供语义身份。域适应通常研究在保持共同标签集的情况下输入分布发生的变化,而经典零样本学习改变的是标签集本身。这些问题可能有所重叠,但它们的假设不能混为一谈。

另一个区别在于能否使用无标注的目标示例。归纳式零样本学习在拟合过程中不使用目标评估数据集。直推式零样本学习则可以利用来自目标分布的无标注示例,例如用于细化聚类结果或对齐特征分布。使用这些数据可以提升性能,但也引入了严格归纳式设定下无法获得的信息,因此必须单独报告。

对于语言模型,零样本的界限往往是在任务接口层面界定的,而不是依据数学上互不相交的类别集合。如果一个情感分类器接收了指令和标签描述,但提示中没有带标注的情感示例,也未经过针对该任务的微调,就可以称为零样本分类器。不过,它的预训练数据仍可能包含评论、情感标签或类似指令。因此,零样本描述的是一种学习或评估规程,而不是模型所固有的、独立于其数据历史的属性。

语义描述与类别之间的桥梁

在经典零样本学习中,起决定性作用的资源,是连接样本与陌生标签的语义桥梁。整数之类的类别标识符不具有可迁移的含义。相比之下,将“有翅膀”“有喙”“生活在水中”等信息编码为向量,就能把目标类别与可从其他类别中学到的属性联系起来。这座桥梁的质量,决定了目标类别能否被区分,也决定了相关知识是否可用。

人工定义的属性是最具可解释性的桥梁之一。动物数据集可以通过体色、身体部位、栖息地和行为来描述类别。鸟类数据集则可以使用更细致的属性,例如喙形、翅膀颜色或胸部花纹。属性值可以是二元值、连续值,也可以用估计比例来表示。类别级属性描述某个类别的典型成员,而实例级属性描述某一张具体图像。混淆这两个层级可能掩盖个体差异:物种层面的颜色描述,并不意味着每张照片中都能看到所有身体部位。

属性使模型所依赖的假设变得明确,但也需要大量标注,而且可能包含图像无法呈现的信息。“夜行性”或“以昆虫为食”在概念上有助于区分物种,却可能几乎无法提供直接的视觉证据。从已见类别中学到的相关性,也可能在未见类别上失效。如果模型将水生栖息环境与某种特定体形联系起来,那么遇到形态不同的陌生动物时,迁移效果就可能很差。因此,一套属性清单实际上构成了一种归纳偏置,使某些关系受到重视,而另一些关系被忽略。

文本表征可以减少对手工构建属性列表的需求。类别名称可以用 Word2vec 或其他嵌入方法来表示;较长的描述则可以用 Transformer架构进行编码。文本能够在同一种表征中表达外观、功能、行为和情境。然而,语言上的相似性并不等同于感知上的相似性。两种动物可能因为栖息地相同而出现在相似的句子中,外观却大不相同。多义性也很重要:如果描述没有提供上下文,“crane”这样的简短标签既可以指鸟类中的鹤,也可以指起重机。

结构化资源提供了另一条途径。知识图谱可以通过分类、功能或部分与整体的关系连接不同类别,而 WordNet 词汇数据库则提供了视觉识别研究所使用的词汇关系与层级关系。这类结构可以将证据从父类别传播到子类别,或将新物体与已知组成部分联系起来。它是否有用,取决于这些关系能否预测目标的观测特征。分类层级并不天然等同于视觉相似性的映射。

因此,即使没有任何带标注的目标图像,语义描述仍然是监督信息的一部分。专家精心撰写的描述、由外部整理的属性以及自动生成的文本,提供的信息在数量和类型上各不相同。只有将这些资源纳入考量,而不是把所有缺少目标标注样本的情形都视为等同的实验条件,系统之间的比较才有意义。

属性预测与基于兼容性的方法

早期基于属性的系统将识别过程分解为可复用的中间判断。直接属性预测利用已见类别的图像学习各种属性的检测器,再根据每个候选类别的属性特征组合检测器的输出。如果模型预测某张图像中的对象有条纹、四条腿,且外形像马,那么与这些特征相符的类别描述就可能获得高分,即使模型拟合时从未使用过该类别的标注样本。

一种简化的概率实现方式,是将候选类别所需各项属性的预测概率相乘。这种乘法计算很方便,但往往隐含了并不成立的条件独立性假设:“有翅膀”“有羽毛”和“会飞”之间存在相关性。当多个不确定的预测结果相乘时,误差也可能被放大。相比之下,间接属性预测先估计已见类别的概率,再通过已见类别、属性与未见目标之间的关系进行迁移。这两类方法都表明,中间层的语义词汇可以替代直接针对特定目标训练的分类器。

基于兼容性的方法则更直接地学习一种共享的关系。常见的双线性形式为

F(x,y)=ϕ(x)TWa(y),F(x,y)=\phi(x)^{\mathsf T}W a(y),

其中,ϕ(x)\phi(x) 是输入表示,a(y)a(y) 是类别表示,WW 则通过已见类别学习得到。输入表示可以来自卷积神经网络或其他特征提取器。学习 WW 的过程将视觉维度与语义维度对齐,使同一套评分规则能够在推理时评估新的类别向量。

训练时可以采用排序损失函数,鼓励正确类别的得分高于错误类别:

Li=max⁡(0, m−F(xi,yi)+F(xi,y−)),L_i=\max\left(0,\, m-F(x_i,y_i)+F(x_i,y^-)\right),

其中,间隔为 mm,负标签为 y−y^-。其他可选目标包括分类损失、向语义原型回归,以及结构化预测损失。ALE、DEVISE 和 SJE 等模型采用不同的表示与优化方案,探索了相关的兼容性学习方法。它们的共同原则是:通过训练形成可迁移的匹配函数,而不是分别估计未来可能需要的每一个分类器。

投影方向也很重要。系统可以将图像映射到语义空间,将类别描述映射到视觉空间,或者将两者都映射到共同的潜在空间。这些选择会改变邻域结构,以及预测误差带来的影响。将大量多样化的图像投影到少数类别原型附近,可能会压缩其变化范围;而将描述投影到视觉空间,则需要外推训练样本中未出现过的类别的视觉外观。

非线性映射能够增强表达能力,但也可能拟合已见类别之间偶然存在的关系。因此,正则化、严谨的类别留出验证,以及合适的特征表示都至关重要。提高已见类别上的训练准确率,并不一定能改善零样本迁移效果。真正的目标是学习在类别身份发生变化时仍然成立的关系,而不只是复现训练集划分中已有的类别差异。

生成式方法与合成训练样本

生成式零样本学习通过构造可能属于未知类别的样本表征,来处理这些类别。条件生成器不再仅利用语义描述为测试输入评分,而是学习视觉特征如何随类别语义变化。给定一个未见类别的描述,生成器便可生成合成特征,随后将其用作普通分类器的训练数据。在零样本设定下,目标类别仍然没有真实的带标注训练样本;其合成样本来自迁移而来的知识。

一种典型的形式是学习如下生成器:

h~=Gψ(z,a(y)),\tilde h=G_\psi(z,a(y)),

其中,zz 是随机潜变量,h~\tilde h 是合成的视觉特征。以 a(y)a(y) 为条件可控制类别身份,而 zz 则旨在表示姿态、视角或背景等类内变化。在部署准备阶段,生成器接收未见类别的描述,并为每个类别生成一组特征。随后即可利用这些特征训练分类器,有时还会同时使用已见类别的真实特征。

生成对抗网络在这一研究方向中发挥了重要作用。2018 年提出的 f-CLSWGAN 方法将对抗式特征生成与旨在保留判别信息的分类目标相结合。其他方法则采用变分自编码器,结合对抗目标与变分目标,或加入重建约束,要求从生成的特征中还原作为条件的语义信息。这些目标分别针对不同的不足:仅有逼真性并不能保证类别身份正确,仅有语义一致性也不能确保特征分布真实。

生成特征而非完整图像具有实际优势。预训练的视觉编码器可能已经去除了大量无关的像素级变化,留下更易建模的低维表征。特征生成也不要求合成图像在人眼看来足够逼真。不过,它也继承了编码器的局限:如果特征空间丢弃了某项具有区分作用的属性,就不能仅因语义描述提及该属性而将其恢复。因此,像素生成与特征生成解决的是相互关联但并不相同的问题。

生成式方法对广义零样本学习尤为重要,因为它们能够将已见类别和未见类别纳入同一个常规训练流程。合成样本使未见类别能够明确参与分类器拟合,而不再只是作为描述,与仅针对已见类别优化的分类器进行比较。然而,真实样本与合成样本之间的比例会改变决策边界,并可能人为引入类别先验。大量合成特征并不等于对真实目标分布进行的独立观测。

最主要的不确定性在于条件生成器能否正确外推。它从已见类别中学习描述与外观之间的关联,而这种关联在面对新的属性组合时可能失效。扩散模型提供了另一种条件生成机制,但并未消除这一局限。看似合理的合成目标样本仍可能遗漏罕见外观、复现上下文偏差,或模糊相近类别之间的差异。评估最终必须使用真实且独立留出的目标样本,而不能使用生成器自身的输出。

语言模型、提示与视觉—语言系统

在自然语言处理中,零样本通常指通过语言指定任务,而不提供示范。例如,模型可能会收到“将这条评论归类为正面或负面”的指令,后面附上评论内容。随后,模型会生成标签,或为候选标签字符串打分。这种用法不同于经典的未见类别识别,因为“正面”和“负面”这些词、任务结构,甚至类似的示例,都可能已在大规模预训练中出现过。

其机制依赖于模型在接到任务之前获得的能力。语言模型学习文本中的统计关系;指令微调还可以进一步训练模型,使其能够根据任务描述给出恰当的回答。因此,一个模型在某个特定评测数据集上可以采用零样本方式接受评测,同时又在相关任务上接受过大量监督训练。指令微调、对齐训练和任务特定适配,与当前提示中提供的示例数量,是彼此独立的维度。

零样本提示与基于示范的上下文学习形成对比:后者在输入中提供示例,但不改变模型参数。少样本提示可能会先展示几条评论及其标签,再要求模型对一条新评论进行分类。零样本提示不包含这些示范,但仍可能包含详细的评判标准、定义、约束条件,或指定的推理步骤。2022 年的研究《大型语言模型是零样本推理器》(Large Language Models are Zero-Shot Reasoners)表明,一条简单的推理指令就能改善模型在多项推理基准上的表现。这说明,没有示范并不意味着没有对结果产生重要影响的任务指导。

视觉—语言模型将这一范式与视觉识别联系起来。CLIP 利用 4 亿个图像—文本对,通过对比学习训练图像编码器和文本编码器。在分类时,模型将图像嵌入与“一张狗的照片”等文本提示的嵌入进行比较。对于归一化的图像向量 v(x)v(x) 和文本向量 t(y)t(y),得分可表示为

s(x,y)=v(x)Tt(y)τ,s(x,y)=\frac{v(x)^{\mathsf T}t(y)}{\tau},

其中,τ\tau 控制得分的缩放。只需改变文本,就可以更换候选类别,而不必重新训练最终的分类层。

这种灵活性支持了开放词汇目标检测以及其他识别系统;在这些系统中,目标名称在针对特定任务的训练期间并不固定。但这并不意味着每一个可能的词语或概念都能同样准确地与视觉内容建立对应关系。识别效果取决于预训练图文对的覆盖范围和质量、整幅图像与局部区域之间的差异,以及提示措辞与预期视觉概念的契合程度。

提示的选择本身也是一项实验决策。标签措辞、冠词、模板、描述,以及多个提示的组合,都可能改变结果。如果模板是在查看目标标签和示例之后才选定的,那么与完全预先确定提示的方案相比,这种评测方案就利用了更多目标信息。因此,需要将大量针对特定目标的提示工程,与采用单一固定提示的零样本评测区分开来。

基准、指标与实验有效性

经典基准通过刻意划分类别,检验语义迁移能否跨类别发挥作用。Animals with Attributes 2 数据集包含 50 个动物类别和 85 种属性,常用的划分方式是 40 个已见类别和 10 个未见类别。Caltech–UCSD Birds-200-2011 数据集包含 200 种鸟类和 312 种属性,广泛采用的零样本划分是 150 个已见类别和 50 个未见类别。SUN Attribute 数据集包含 717 个场景类别和 102 种属性,提供了不同于以物体或物种为中心的分类识别问题。

这些数据集检验的是不同类型的迁移。粗粒度的动物类别往往在体形上存在显著差异,而鸟类物种的区分可能需要依靠细微的局部特征。场景识别可能取决于空间布局、物体和人类活动,而非单一的前景实体。因此,在某个基准上取得好成绩,并不能证明模型普遍具备识别任意未见概念的能力。数据集规模、语义描述质量、视觉相似度,以及数据集与预训练数据之间的关系,都会影响任务难度。

评估中的一个主要问题是,模型可能在特征提取器的预训练阶段接触过相关类别。某个类别虽然未出现在零样本训练划分中,却可能存在于视觉编码器的预训练数据中。Yongqin Xian 及其同事在 2017 年的论文《Zero-Shot Learning—The Good, the Bad and the Ugly》中强调了这一问题,并提出了旨在避免评估类别与标准 ImageNet 数据集预训练所用的 1,000 个类别重叠的数据划分。这并不能消除所有可能的预先接触来源,但明确了该基准所依据的假设。

由于各类别的样本数量可能不同,评估中常采用按类别计算的准确率。若 Dc\mathcal{D}_c 包含类别 cc 的评估样本,则宏平均准确率为

A=1∣C∣∑c∈Ccorrect predictions in Dc∣Dc∣.A=\frac{1}{|\mathcal{C}|} \sum_{c\in\mathcal{C}} \frac{\text{correct predictions in }\mathcal{D}_c}{|\mathcal{D}_c|}.

在广义零样本评估中,通常分别报告已见类别的表现 SS 和未见类别的表现 UU,以及二者的调和平均值:

H=2SUS+U.H=\frac{2SU}{S+U}.

仅在其中一组上取得高分,无法得到较高的调和平均值,因此该指标有助于揭示模型对已见类别的严重偏向。

模型选择也必须遵守信息边界。使用带标签的未见类别测试样本来选择超参数,会将目标任务的监督信息泄漏到开发过程中。一种常见的替代做法是,从原本属于已见类别的类别中预留一部分,作为模拟未见类别的验证类别。这样,最终的未见类别测试集在评估前就始终保持未被使用的状态。对于是否以直推式方式访问无标签的目标输入、是否使用目标类别的频率信息,以及是否使用外部描述,都应分别加以记录说明。

对于基础模型,基准数据污染更难排除,因为预训练数据集合可能包含基准中的图像、问题、答案或其衍生内容。完全重复的内容只是问题之一;近似重复的内容和针对特定任务的解释性材料也可能产生影响。因此,零样本评估报告需要准确说明下游适配流程和已知的训练数据边界,而不能将“提示中没有示例”等同于“此前从未接触过”。

应用与实际运行约束

当标签集合过于庞大,或变化过快而无法反复进行标注时,零样本学习就能发挥作用。在图像分类中,系统可以接收新的类别描述,而不必为每个类别单独训练输出层。例如,博物馆藏品可能需要按照物品用途、历史术语或材质来划分类别,而不是沿用通用视觉模型训练时使用的标签。用文本定义类别带来了灵活性,但能否取得良好效果,取决于模型的表示能否捕捉这些区别。

在信息检索中,共享的图像—文本表示使系统能够根据文本查询检索视觉上相关的项目,而无须使用针对该任务标注的查询—图像数据集。同一个嵌入空间可以支持不断变化的搜索描述、组合式查询,以及基于相似性的内容组织。不过,检索与分类仍然不同:返回若干张可能符合要求的图像,并不等于作出一次经过校准的类别判定。即使检索系统排名第一的结果达不到严格分类基准的要求,该系统仍可能具有实用价值。

文本分类是另一个应用领域。主题分流、意图识别和文档分类都可以通过候选标签及其描述来构建任务。语言模型或语言推断模型可以将文档与诸如“这条请求涉及配送延误”之类的假设进行比较。这种方式只需少量标注数据,就能适应新的分类体系,但对于含义相近的标签,结果可能高度依赖具体措辞。此外,“账单”这样的宽泛标签与“重复扣款退款”这样的细化标签,具体程度也不相同,使得分数难以直接比较。

在机器翻译中,零样本翻译通常指在某一语言对之间进行翻译,而训练时并未提供这两种语言之间的直接平行样本,尽管它们可能各自与其他语言搭配参与过训练。谷歌于2016年开展的多语言神经翻译研究,在一个共享的多语言系统中展示了这种可能性。这里的迁移问题不同于未见类别分类:模型必须生成具有结构的序列,而知识则通过共享表示以及跨翻译方向的训练来迁移。

机器人技术和多模态界面可以使用自然语言目标来指代不熟悉的物体类别,或熟悉动作的新组合。在这些场景中,识别词语或物体只是其中一个环节。将描述与物理场景中的具体对象和情境对应起来、确定合适的动作,以及遵守机械约束,是彼此独立的要求。零样本语言理解取得成功,本身并不能证明系统能够可靠地以零样本方式执行物理任务。

实际运行成本也各不相同。对于固定的类别集合,可以预先计算类别文本的嵌入;而在收到请求时才对每个新的候选描述进行编码,则会增加延迟。将输入与规模极大的候选词表进行比较,需要高效搜索或分层筛选。即使底层编码器没有变化,扩充词表也可能因引入语义重叠的候选项而降低准确率。因此,不能因为引入标签很容易,就认为准确率和推理成本会保持不变,或认为系统自然适用于影响重大的决策。

失效模式、校准与未解问题

零样本学习受限于可供迁移的信息。如果两个未见类别的语义描述完全相同,又没有其他可用于区分的信息,那么基于描述的系统就没有合理依据将它们区分开来。如果目标的识别依赖于编码器从未学到的某种视觉属性,仅仅说出该属性的名称可能并不足够。因此,成功的迁移既依赖于有效的输入表征,也依赖于能够指明相关区别的语义描述。

一个技术难点是高维嵌入空间中的枢纽现象。少数类别原型可能成为过多输入的最近邻,无论输入的真实类别是什么,预测结果都容易落到这些原型上。投影方式的选择和语义空间的几何结构都可能促成这种现象。另一个难点是投影偏移:从已见类别学到的映射,未必能为未见类别保留正确的关系。这些失效现象说明,看似合理的语义空间并不能保证可靠的视觉决策规则。

广义零样本学习还存在对已见类别的系统性偏好。已见类别的参数或表征经过真实标注样本的优化,而未见类别只能通过间接方式表示。一种校正方法是从已见类别的分数中减去一个常数:

F′(x,y)=F(x,y)−γ 1[y∈Ys].F'(x,y)=F(x,y)-\gamma\,\mathbf{1}[y\in\mathcal{Y}_s].

改变 γ\gamma 可以在已见类别准确率与未见类别准确率之间进行权衡。这种调整可以改善两者的平衡,但适当的取值取决于部署时的数据分布和验证所依据的假设。它并不是适用于所有失配情况的通用校正方法。

概率校准与排序准确性是两个不同的问题。相似度分数经过 softmax 转换后会成为归一化的数值,但这些数值未必能可靠地表示预测正确的概率。此外,如果分类器必须从给定标签中做出选择,即使没有任何标签合适,它也可能信心十足地选出一个。因此,零样本识别并不等同于异常检测,也不意味着能够可靠地拒识未知类别。即使图像及其嵌入保持不变,改变候选标签列表也可能改变归一化后的置信度。

更广泛的分布偏移会暴露出按类别留出的测试可能遗漏的弱点。模型可能能够在熟悉类型的照片中识别未见类别,却在素描、异常光照、不同地理环境或非典型样本上失败。文本预训练和图文预训练也会继承训练数据中不同语言、物体和社会情境代表性不均衡的问题。在生成式系统中,这些失配可能产生流畅却缺乏依据的回答,而不是明确的分类错误,从而将零样本任务表现与人工智能幻觉以及事实依据问题联系起来。

一个尚未解决的概念性问题是,如何区分真正的组合式迁移与预训练数据的广泛覆盖所带来的效果。在预训练数据集规模极大的情况下,模型在名义上的新任务中取得成功,可能是可复用的推理能力、对熟悉模式的识别,以及对相关材料的部分接触共同作用的结果。将特定组合、关系、领域或新创建的任务留作测试,可以检验这一问题的不同方面。要确定究竟迁移了什么,就需要比“零样本”这一单一标签更细致地说明哪些信息未向模型提供。