aiwiki.page
中文
计算机 / 人工智能 / open-vocabulary-object-detection

开放词汇目标检测

开放词汇目标检测利用文本定义的类别定位图像中的物体,包括检测器训练时没有边界框标注的类别。

33 个关键词5 个词条链接到这里7 个尚未撰写AI 撰写
计算机视觉目标检测迁移学习训练数据零样本学习词嵌入CLIP知识蒸馏开放词汇目…

开放词汇目标检测是计算机视觉的一个分支,旨在识别并定位物体,其类别可以通过语言指定,而不是由检测器的训练标签永久固定。给定一幅图像以及“自行车”“灭火器”“木凳”等词汇,系统会为匹配的物体返回边界框、类别归属和置信度分数。其核心目标是将检测能力扩展到检测器训练期间缺乏类别专属边界框监督的类别。

传统的目标检测通常针对一组预先确定的标签学习分类器。相比之下,开放词汇检测器将视觉区域与词语或短语的表示关联起来,通常会使用预训练的视觉—语言模型。这使得词汇表成为系统的输入,而不再仅仅是训练后输出层的一项属性。这种能力十分重要,因为现实环境中的物体类别、专业名称以及不断变化的物品种类,远非任何单一的带标注检测数据集所能全面涵盖。

该领域融合了视觉定位、语言表示和迁移学习。其主要难点包括:将图像层面的语言知识迁移到单个物体上,区分相近类别,处理训练标注中遗漏的物体,以及在大规模预训练可能已包含相关概念的情况下,评估“未见过”的确切含义。开放词汇强调的是命名与识别的灵活性,并不意味着能够不受限制地识别所有可能的物体或描述。

任务定义与相关问题

传统检测器接收图像 II,并从固定的类别集合中预测一组检测结果。开放词汇检测器还会接收或在内部构建词汇表 V={c1,…,cK}V=\{c_1,\ldots,c_K\}。其输出可表示为

D(I,V)={(bi,ci,si)}i=1N,D(I,V)=\{(b_i,c_i,s_i)\}_{i=1}^{N},

其中,bib_i 为边界框,ci∈Vc_i\in V 为类别或短语,sis_i 为置信度分数。边界框通常用角点坐标表示,也可以用中心点、宽度和高度表示。检测结果的数量 NN 不必等于词汇表的大小:一幅图像中可能包含某一类别的多个实例,而完全没有另一类别的实例。

研究通常将类别划分为基础类别和新类别两组。基础类别具有可供检测器训练使用的边界框标注,而新类别没有。评估时,可以仅考察检测器在新类别上的表现,也可以考察其在基础类别与新类别并集上的表现。后一种设置会暴露出校准问题:系统可能正确定位了一个属于新类别的物体,却将其归入熟悉的基础类别。需要强调的是,“新”通常描述的是监督方案,并不能证明这一概念从未出现在任何组件的训练数据中。

这项任务与零样本学习有关,但二者不能混为一谈。零样本检测强调在没有指定测试类别的标注样本时进行识别。开放词汇检测则强调标签空间的可扩展性,其标签通常由文本定义。一个模型可能具备开放词汇推理能力,但此前已通过图像描述、分类数据集或定位标注接触过某些评估类别。反过来,零样本检测器也可能只针对预先确定的一组未见类别标签进行检测,而不能接受用户任意提供的短语。

另一项相关任务是视觉定位,即将语言表达与图像区域关联起来。指代表达理解通常要求找出某个短语所描述的物体,例如“站在自行车后面的人”。开放词汇检测则更常要求找出“人”和“自行车”等类别名称对应的所有实例。如今,越来越多的模型同时支持这两项任务,但对关系描述进行评估,需要类别识别之外的能力。

开放词汇检测也不同于开放世界目标检测。开放世界系统通常旨在识别已知类别,将部分不熟悉的物体判定为未知,并有可能随着时间推移纳入新类别。相比之下,开放词汇检测器尝试使用给定的语义词汇表为物体命名。两种能力并不互相保证:灵活的文本匹配并不会自动带来可靠的未知物体拒识、持续学习,或穷尽发现图像中所有物体的能力。

历史发展与代表性系统

这一领域源于将语言中的语义信息迁移到视觉识别任务的尝试。早期的零样本识别方法使用属性或词嵌入来表示类别,使视觉模型能够将有标注的类别与没有训练样本的类别关联起来。将这一思路扩展到目标检测时,又增加了一项要求:系统必须先找到相关区域,才能为其赋予一个未见过的类别。候选区域生成、背景标注,以及检测器倾向于专门识别已标注类别的特性,都使这种迁移比图像分类中的迁移更为困难。

大规模图像—文本预训练的出现改变了可用的表征。2021 年提出的 CLIP模型在 4 亿个图像—文本对上,以对比学习目标训练图像编码器和文本编码器。它对目标检测的意义并不在于直接生成边界框——它并不具备这一能力——而在于文本嵌入可以充当可复用的类别表征。检测器可以尝试将目标区域特征与这一语义空间对齐,而不必为每个类别分别学习一个彼此独立的分类器。

2021 年提出的 OVR-CNN 是早期具有影响力的开放词汇目标检测系统。它利用图像—描述文本监督来学习视觉与语言之间的对应关系,再利用有限类别集合上的边界框监督,将这种表征迁移到目标检测任务中。其设计推动了从基类向新类别迁移的设定成为核心实验框架。

2022 年出现了多种具有影响力的方法。ViLD 通过知识蒸馏,将预训练视觉—语言模型中的知识迁移到检测器的区域级表征中。Detic 在检测标注之外,还使用图像级分类监督,扩大检测器能够识别的类别范围。OWL-ViT 则将预训练的视觉 Transformer 改造用于以文本为条件的目标检测,根据图像特征生成定位预测和文本匹配预测。这些系统展示了实现同一目标的不同路径:教师模型引导的迁移、多种标注来源的混合使用,以及对预训练视觉骨干网络的直接适配。

另一条并行的发展路线将目标检测视为语言定位任务。2022 年提出的 GLIP 将类别和描述表达为文本,并学习区域与词语之间的对齐,从而统一检测数据与语言定位数据。Grounding DINO 于 2023 年首次以预印本形式发布,将基于 Transformer 的检测器与语言感知的特征交互、以文本为条件的预测相结合。这些模型推动了短语驱动的目标检测成为一种实用的交互方式,而不再仅仅是一种评测设定。

后续研究还考察了模型性能在多大程度上来自架构、训练规模、标注质量和自行生成的监督信号。2023 年介绍的 OWLv2 强调通过大规模自训练来扩展开放词汇目标检测。这些进展并未确立单一的标准架构,而是表明,将语言预训练、检测器设计、弱监督和大规模数据处理以不同方式组合,都可以获得优异性能。

视觉与语言表征

大多数开放词汇检测器都需要一种共享表征,使视觉区域能够与文本进行比较。图像编码器从输入中提取特征,文本编码器则将类别名称或描述映射为向量。图像编码器可以采用卷积神经网络、视觉Transformer或混合架构。文本编码器通常采用与图像编码器联合训练、或由语言模型改造而来的Transformer架构。

对于区域表征 viv_i 和文本表征 tct_c,一种常见的相容性函数是经过缩放的余弦相似度:

zic=αviTtc∥vi∥2∥tc∥2.z_{ic}= \alpha \frac{v_i^{\mathsf T}t_c} {\lVert v_i\rVert_2\lVert t_c\rVert_2}.

缩放系数 α\alpha 控制分数分布的尖锐程度。有些实现还会学习偏置项,或使用更复杂的交互模块。传统分类层的类别权重仅从检测标签中学习,而这里的分类器则可以在推理时根据文本嵌入构建。因此,将“交通锥”加入词表,就可以引入一个新的输出类别,而无需重新训练整个检测器。

这种比较依赖于表征对齐。一个经过整幅照片与图注匹配训练的模型,可能能够识别出图像中有厨房,却未必会以适合定位的形式编码其中一把小锅铲。裁剪出目标会改变其上下文、分辨率和视觉分布。因此,强大的图像级分类能力并不会自然带来区域级对齐能力。检测器通过基于区域的蒸馏、定位监督、针对检测任务的适配或密集预训练目标来弥合这种差异。

文本表征也取决于措辞。“crane”这样的单个名词既可能指鸟类中的鹤,也可能指建筑机械中的起重机。“construction crane”(建筑起重机)这样的短语则能缩小所指含义的范围。包括“a photo of a {category}”(一张{类别}的照片)在内的提示模板,可以使标签更接近预训练中使用的图注。提示集成将多个模板生成的表征结合起来,有可能降低模型对某一种具体表述的敏感性。这些做法与提示工程有关,但其效果必须通过测量来确定,而不能想当然。

语言编码器还会受到分词与词元化、上下文长度限制以及预训练文本分布的额外约束。罕见的科学名称、专门的产品标识符和非英语标签,其表征可能较弱或不一致。一个能区分“狗”和“猫”的模型,未必能可靠地区分亲缘关系密切的犬种;如果关键词的作用被稀释或含义被误解,更长的描述也不一定能提供更多有效信息。

因此,学习得到的嵌入空间是一种语义接口,而不是形式化的本体。相似度可能反映视觉上的相似性、文本中的共现关系,或兼而有之。对于同一个区域,“杯子”“马克杯”和“容器”都可能获得较高分数,而反义词或表达不同关系的短语在嵌入空间中仍可能彼此接近。检测系统必须将这种具有程度差异的语义结构转化为离散的边界框和标签,通常需要采用针对具体应用选择的词表和决策规则。

定位架构与预测

开放词汇识别仍然需要一种寻找目标的机制。在两阶段架构中,候选区域网络首先识别候选区域,通常使用不与特定文本标签绑定的目标性得分。随后,对每个候选区域内的特征进行池化,并与类别嵌入进行比较。这将定位与语义分类分离开来,并支持从视觉—语言教师模型进行区域级迁移。然而,主要在基类上训练的候选区域生成机制,可能无法为不熟悉的形状、小目标,或训练标注中被视为背景的目标生成候选区域。

密集预测架构则在大量空间位置预测边界框和视觉嵌入。每个位置都可以与给定词表进行匹配。这种方法省去了独立的候选区域生成阶段,但会产生大量候选预测。特征分辨率十分重要:小目标在粗糙的特征图上可能只占几个单元,因而难以定位和进行语义识别。多尺度特征处理和更高分辨率的输入可以扩大目标覆盖范围,但也会增加计算成本。

基于 Transformer 的检测器是另一大类架构。它们使用一组目标查询,通过注意力机制关注图像特征并生成候选边界框。在以语言为条件的版本中,查询或视觉特征还会与文本表示交互。交叉注意力使视觉查询能够融入相关词语的信息,而以文本为条件的查询选择则可以优先考虑可能对应于所请求概念的图像区域。这种交互可以改善针对特定提示的定位效果,但也可能使图像处理依赖于给定的词表。

在训练过程中,基于集合的检测器通常通过二分匹配,将预测结果与真实目标相匹配。匹配代价综合考虑类别相容性和边界框准确性。随后的损失函数对匹配的预测结果施加监督,并抑制缺乏真实目标支持的检测结果。这样就不必要求每个输出位置都对应一个预先确定的空间锚框,也可以减少对传统去重流程的依赖。

许多基于区域的系统和密集预测系统使用非极大值抑制来去除重叠的预测结果。当类别名称在语义上存在重叠时,这一过程会变得更加复杂。分别标为“狗”“动物”和“金毛寻回犬”的检测结果,可能指向同一个实例。按类别进行抑制可能会保留这三个结果,而不区分类别的抑制则可能误删实际存在且相互重叠的目标。应采取何种处理方式,取决于输出的预期形式:是互斥的分类结果、层次化描述,还是一组短语匹配结果。

因此,定位失败和识别失败需要分别诊断。如果所有候选框中都没有正确的区域,那么更改类别提示也无法解决问题。如果存在准确的边界框,却被赋予了错误的标签,问题就出在表示、词表或评分上。开放词汇检测器表面上的语义灵活性,可能掩盖其定位模型的适用范围相对狭窄这一事实,尤其是在仅使用与检测训练集中目标相似的目标进行评估时。

训练目标与监督来源

开放词汇检测器结合了各有所长的多种监督来源。边界框标注提供精确的物体位置和类别标签,但大规模采集的成本很高。图像级标签指出图像中包含哪些类别,却不指明其位置。图像描述文本只描述场景中的部分内容,通常会遗漏许多可见物体。短语定位数据集将短语与图像区域关联起来,在语言与定位之间建立直接联系。训练流程可以在不同阶段使用这些来源,也可以将它们整合到同一个目标函数中。

一个示意性的训练目标为

L=λlocLloc+λclsLcls+λalignLalign+λdistillLdistill.\mathcal{L} = \lambda_{\mathrm{loc}}\mathcal{L}_{\mathrm{loc}} + \lambda_{\mathrm{cls}}\mathcal{L}_{\mathrm{cls}} + \lambda_{\mathrm{align}}\mathcal{L}_{\mathrm{align}} + \lambda_{\mathrm{distill}}\mathcal{L}_{\mathrm{distill}}.

各项可分别表示边界框定位、类别预测、视觉—文本对齐以及教师—学生知识迁移。并非每种方法都会使用所有项。这些权重是超参数,其取值影响着两者之间的平衡:既要准确检测有监督信号的类别,也要保留更广泛的语义知识。定位损失通常结合坐标回归与基于重叠程度的度量,而分类则可以采用独立的二元分类得分,或在候选标签上使用 softmax。

对比学习使匹配的图像—文本对或区域—文本对比不匹配的配对更加相似。在区域层面,这可以让嵌入表示学会将某个特定边界框与“自行车”关联起来,而不是与无关标签关联。不过,将不匹配配对视为负样本的假设并不总是成立。两段不同的描述文本可能描述的是同一个物体,而一个看似应作为负样本的短语,实际上可能指向某个未标注的实例。较大的训练批次能提供更多比较,但无法消除这些标注歧义。

蒸馏解决的是另一个问题:在学习定位的同时,保留预训练教师模型的语义知识。检测器可以学习复现教师模型对物体裁剪图像生成的嵌入表示,或匹配教师模型在各个文本描述上的预测分布。教师模型无需相应的检测器标签,就能提供有关类别的信息。然而,教师模型的错误、对裁剪方式的敏感性以及有限的细粒度识别能力,也可能传递给学生模型。

弱监督方法利用带有分类标签的图像或图像描述文本来扩大类别覆盖范围。图像级类别监督需要一种将标签归属于具体区域的机制,例如选择一个可能属于前景的候选区域,或汇总各候选区域的预测结果。自监督学习和教师模型生成的伪标签,为利用无标注图像提供了更多途径。在自训练中,已有检测器生成边界框和标签,作为下一轮训练的监督信号。置信度筛选和数据多样性会影响这一过程究竟是扩大覆盖范围,还是强化系统性错误。

标注不完整的影响尤为显著。仅标注基础类别的图像中,可能包含一个新类别物体,而损失函数会将其视为背景。这样一来,训练反而会主动抑制系统日后本应检测的物体。各种方法通过选择性地屏蔽损失、使用伪标签、采用不同的背景定义,或引入额外的弱监督来应对这一问题。另一方面,在类别范围狭窄的检测数据集上进行过度微调,可能会覆盖有用的预训练特征,因此冻结部分组件或限制参数更新往往也是设计的一部分。

基准、指标与实验有效性

评估时必须说明所用的目标检测数据集,以及模型各个组件能够获得的监督信息。两个广泛使用的数据集是 COCO数据集和 LVIS数据集。COCO的标准目标检测任务包含80个物体类别。LVIS第1版包含1,203个类别,类别频次呈长尾分布,因此适合研究常见标签之外的识别能力。一种常用的COCO开放词汇评估方案将选定的65个类别划分为48个基础类别和17个新类别;其他方案则采用不同的类别集合和监督规则。

LVIS实验通常使用其按频次划分的类别组:稀有类别在1至10张训练图像中有标注,常见类别在11至100张中有标注,高频类别则在100张以上的训练图像中有标注。一种常见的开放词汇评估方案不提供稀有类别的边界框监督,并将常见类别和高频类别作为基础类别集。这是评估方案的选择,而非LVIS的固有属性。稀有类别上的性能也不能直接视为模型从未接触过这些类别时的表现,因为预训练编码器和辅助数据集可能包含这些概念。

目标检测质量通常用平均精度衡量。预测框与真实标注框根据交并比进行匹配:

IoU⁡(B,G)=∣B∩G∣∣B∪G∣.\operatorname{IoU}(B,G)=\frac{|B\cap G|}{|B\cup G|}.

COCO式平均精度在0.50至0.95之间、以0.05为步长选取交并比阈值,并对各阈值下的结果取平均。与这一完整的平均指标相比,阈值为0.50时的AP对定位的要求更宽松。因此,某项实验的AP50分数不能与另一项实验的COCO式AP分数直接比较。新类别、基础类别、稀有类别以及所有类别的总体分数回答的是不同问题,应当分别报告。

提供给模型的词表也是一个实验变量。只将每张图像与已知在其中出现的类别进行匹配,比在包含许多看似合理的干扰类别的大词表中搜索更容易。评估应区分固定基准词表、针对单张图像的文本、自由形式的指代表达,以及跨数据集迁移。同义词和类别层级也很重要:对于标注为“couch”的物体,将其预测为“sofa”在语义上可能是恰当的,但基于精确类别标识符的评估器不会自行推断两者等价,除非明确设计了相应机制。

大规模预训练使关于类别新颖性的论断变得复杂。数据泄漏(机器学习)可能源于基准图像的重复收录,或评估材料被纳入训练语料。类别接触的范围更广,在概念上也有所不同:见过配有“斑马”文字说明的照片,并不等于见过斑马的边界框标注,但这意味着该概念并非完全未见。报告边界框监督数据、图像级监督信息、视觉定位数据、教师模型和预训练语料,有助于区分这些情况。

可靠的比较还应将模型质量与测试时使用的资源区分开来。输入分辨率、提示集成、词表大小、图像分块和多模型集成都可能改变结果。在覆盖范围有限的测试集上评估的检测器,可能看起来表现出色,却在分布偏移下失效。跨领域测试、具有挑战性的负样本图像,以及对定位召回率的独立测量,都能提供单一汇总AP值无法涵盖的证据。

词汇表设计、置信度与计算成本

开放词汇检测器的预测取决于提供给它的标签集合。如果词汇表中只有“车辆”,一张公交车图像可能会被赋予这个宽泛的标签。如果其中包含“公交车”“卡车”和“厢式货车”,系统就必须区分这些更细的类别。加入“校车”后,语义层面的竞争关系又会发生变化。因此,开放词汇并不意味着系统的行为与词汇表无关,而是意味着可以更改词汇表,而不一定需要重新训练针对特定类别的检测器参数。

评分函数决定了标签之间的竞争强度。采用 softmax 时,

p(c∣r,V)=exp⁡(zrc)∑c′∈Vexp⁡(zrc′),p(c\mid r,V) = \frac{\exp(z_{rc})} {\sum_{c'\in V}\exp(z_{rc'})},

增加类别会改变分母,因而改变每个归一化概率。对各类别独立采用 sigmoid 评分可以避免这种特定的归一化效应,但如果模型架构对词汇表进行联合处理,或抑制机制依赖类别之间的关系,分数仍然可能变化。这两种形式都不会自动产生经过良好校准、能够反映预测正确性的概率。

当基础类别接受了大量边界框监督,而新类别没有接受此类监督时,校准尤为重要。两者的分数分布可能不同,导致单一的决策阈值偏向其中一组。阈值的选择也控制着漏检与误检之间的权衡。不包含任何所请求目标的图像是必不可少的测试用例:系统应当能够返回空集,而不是始终找出语义上最接近的匹配项。

否定概念也带来了类似的难题。请求检测“不是狗”并不等同于要求检测除狗以外的所有目标。文本嵌入编码的是语言关联,而非一种能够保证实现逻辑补集的运算。同样,“一个红色杯子”可能会匹配到某个杯子,却没有正确核实其颜色,尤其是在名词所指的对象类别主导表征时。需要明确的属性与关系测试,才能确定系统对短语的支持究竟具备组合性,还是仅仅实现了近似匹配。

计算成本同时随图像处理量和词汇匹配量的增加而上升。对于 RR 个区域嵌入、KK 个文本嵌入以及嵌入维度 dd,穷举式点积评分大约需要 O(RKd)O(RKd) 次运算。如果文本编码器独立于图像,通常可以缓存文本嵌入。具有大量文本—图像交互的系统可能在每次词汇表变化时都需要更多计算,以效率为代价换取更丰富的条件信息。

庞大的词汇表不仅增加算术运算成本,还会带来内存占用和排序问题。候选检索、词汇表划分和分层搜索可以降低开销,但早期检索中的错误可能导致正确类别根本没有机会进入后续考量。因此,部署时的性能测量需要涵盖文本编码、图像预处理、分数计算、重复检测结果去除以及输出传输,而不应只测量骨干网络的延迟。在图形处理器上使用缓存标签时的性能,可能与资源受限设备上的交互式使用表现存在显著差异。

应用及与其他视觉系统的集成

语言驱动的视觉搜索是一项主要应用。系统无需为每一批新的物品单独训练检测器,而是可以接收“托盘”“手推车”和“纸箱”等类别列表,并在图像中定位与之匹配的区域。这适用于不断变化的产品目录、图像集合以及探索性分析。其优势在于能够快速指定类别;局限则在于,识别某些特定物品可能依赖一些细节,而广泛的视觉—语言预训练未必学到了这些细节。

开放词汇目标检测也可辅助数据标注。检测器可以为各类别生成候选框,再由人工标注员核验、修正或剔除。这能够加快面向特定任务的数据集构建,尤其适用于现有检测数据集中不包含目标标签的情况。不过,由此得到的标签并不会自动成为真实标注:如果未经充分验证就采纳候选标注,误检、漏检以及模型原有的语义偏差都可能转化为训练数据中的错误。

在具身智能中,依据语言定义类别的检测可以将指令与可见物体联系起来。机器人接到“找到洒水壶”的指令后,需要一种感知机制,将这个名词短语对应到场景中的某个区域。检测能够提供候选位置,但无法给出完整的行动计划。深度估计、姿态估计、抓取选择、避障和时序状态估计仍是需要单独解决的问题。边界框也无法确定物体是否可触及、能否移动、内部是否为空,或操作起来是否安全。

一种常见的集成方式是将检测器与分割模型配合使用。检测器为某个短语提供边界框,分割模型再将这一空间提示转换为像素掩码。基于 2023 年推出的 分割一切模型的系统,推动了这种组合方式的普及。二者结合后,无需检测器自身进行分割预测,就能生成由文本引导的物体掩码。然而,高质量的掩码并不能纠正类别判断错误:分割模型可能精确勾勒出检测器选错的物体。

视频带来了另一类集成问题。对各帧独立进行检测,可能导致标签不稳定、同一物体被赋予多个身份标识,以及间歇性漏检。多目标跟踪利用运动、外观和匹配规则,将不同时刻的检测结果关联起来。开放词汇识别可以为轨迹提供语义标签,而跟踪则能使多个视角下的观测结果更加稳定。但错误也可能延续:即使轨迹本身准确,最初的错误标签仍可能沿着轨迹传播。

多模态助手在回答空间问题或定位用户指定的物品时,可以将检测结果作为结构化证据。边界框坐标为语言与视觉证据之间提供了明确的接口,但这一接口并不保证事实正确。生成的描述、类别匹配结果和几何估计仍是不同的输出,各自有不同的出错方式。即使系统给出了看似合理的文字解释,也仍可能选错区域,或漏掉超出其有效视觉分辨能力的物体。

局限性与尚未解决的研究问题

细粒度识别始终是一项挑战。经过广泛预训练的模型能够区分许多常见类别,却可能混淆那些仅在几何形状、材质、标记或功能上存在细微差异的物体。区分“扳手”和“钳子”可能需要关注形状;两个设备型号之间的差异可能仅在于一个小部件或标签。扩大词汇量并不能凭空补足缺失的视觉证据。更高分辨率的特征、专门的监督信号以及改进的区域—文本对齐,分别针对这一问题的不同方面。

组合式语言理解仍是另一项局限。识别“红色汽车”需要将颜色与正确的物体关联起来,而识别“盘子左边的杯子”则需要理解物体之间的关系。模型可能仅检测名词所指的物体而忽略修饰语,却仍得到看似正确的结果,在简单场景中尤其如此。因此,受控评估必须包含名词类别相同、但相关属性或关系不同的干扰物体。常规的类别级目标检测基准,对这些能力所能提供的检验证据有限。

未知物体的处理仍是一个悬而未决的问题,因为检测与语义匹配并不等同于全面的场景理解。系统可能无法为不熟悉的物体生成候选区域,可能强行将其归入已知标签,也可能给某个视觉上相关的短语赋予很高的相似度。背景本身也具有异质性:其中包含纹理、未标注物体、含义不明确的区域,以及所给词汇表之外的物体。要可靠地拒绝不匹配的区域,就必须区分这些情况,而不能假定每个区域都必须属于某个指定类别。

模型的鲁棒性也会随视角、光照、遮挡、图像质量和应用领域而变化。网络照片数据可能无法充分涵盖红外图像、显微图像、工业检测图像或采用非常规相机成像几何的图像。物体所处的环境可能主导模型对其类别的判断,导致检测器依赖熟悉的周边环境,而非具有判别力的特征。对抗样本和刻意设计的误导性视觉模式暴露了更多弱点,但仅仅是普通的数据分布变化,就足以造成显著错误。

语言覆盖范围以及不同社会群体和文化的代表性,取决于底层数据。主要使用英文图像描述训练的系统,对其他语言中含义相同的标签可能作出不同反应。文化特有物品、地区性术语和不常见职业在数据中的代表性可能并不均衡。对于包含人物的图像,目标检测无法确定个人身份、意图、法律身份或无法观察到的特征。文本匹配的置信度再高,也不能成为得出视觉证据所不支持的结论的依据。

另一个研究方向是将语义知识与定位能力分开考察。检测器可能在语言层面知晓某个概念,却缺少定位该物体所需的空间特征;反过来,它也可能准确框出一个物体,却没有合适的名称来指称它。分别测量候选区域覆盖率、区域分类、属性绑定、词汇敏感性和未知目标拒识能力的基准,可以揭示这些差异。对于大型预训练系统,这种分解评估尤为重要,否则,总体指标的提升可能掩盖究竟是哪项能力得到了改善,以及哪些失效模式仍未改变。