实例分割是计算机视觉中的一项任务,旨在识别图像中的各个独立对象,并划定属于每个对象的像素。其输出通常包括一组对象掩码、类别标签和置信度分数。目标检测通常使用边界框定位对象,而实例分割则描述对象的可见形状。与语义分割不同,实例分割会区分属于同一类别的不同对象:三个相邻的人应被赋予三个不同的实例标识,而不是合并为一个不加区分的“人”区域。
这项任务融合了识别、定位和精细的空间归属判定。它可用于对象计数、机器人操控、生物图像分析、场景理解和图像编辑等领域;在这些应用中,仅知道对象的类别或大致位置还不够。其主要难点包括分离相互接触的对象、识别部分被遮挡的实例、保留细长结构,以及判定哪些图像区域构成独立对象。
现代实例分割系统主要基于深度学习。其设计方式多样,既可以先检测候选对象,再为每个候选对象预测掩码,也可以直接根据图像特征预测掩码集合。要理解这些系统的行为,需要将任务本身的定义与标注规范、模型架构、训练流程和评估方案区分开来。
任务定义与输出表示
对于定义在像素域 上的图像,常规实例分割的预测结果可表示为一个无序集合:
其中, 是预测的对象数量, 是实例 的掩码, 是其类别, 是置信度分数。模型通常会生成软掩码 ,再通过阈值将其转换为二值掩码。实例标识符可以任意指定:只要掩码及其关联标签保持一致,交换两个对象的标识符并不会改变分割结果。
这种输出不同于语义标签图,后者为每个像素分配一个类别,但不一定记录对象的身份。两辆相互接触的汽车可能构成一个连通的语义区域,却仍然是两个实例。反过来,一个受到部分遮挡的对象可能呈现为多个互不连通的可见区域,而这些区域都属于同一个实例。因此,通常无法仅靠连通分量分析将语义分割转换为正确的实例分割。
大多数通用基准侧重于可计数的对象类别,例如人、车辆或动物,这些类别通常称为“可数物体”(things)。天空、道路和草地等区域通常称为“不可数背景”(stuff),因为一般并不规定如何将它们划分为单独的对象。全景分割于2018年作为一项统一任务提出,将所有像素的语义标签与可数物体类别的实例身份相结合。相比之下,常规实例分割不必为每个像素赋予标签,可以不对背景区域作出分配。
掩码的含义取决于标注规范。可见分割,也称模态分割,只标注对象可被观察到的部分。非模态分割则估计对象完整的投影范围,包括被其他对象遮挡的区域。在可见分割中,一个受到遮挡的人的手臂和躯干可能在图像中彼此分离,但仍具有同一实例身份;非模态分割还需要估计被遮挡的身体轮廓。两者的预测目标不同,而不是针对同一目标采用不同的评分规则。
掩码可以存储为栅格数组、多边形或游程编码。栅格掩码能够直接表示不规则边界,但可能需要较大的存储空间。对于简单轮廓,多边形表示较为紧凑,但孔洞和复杂轮廓需要额外的表示约定。游程编码通过压缩连续的前景和背景像素序列来节省空间,而无需对边界作近似处理。这些选择会影响标注工具、内存占用和处理速度,但其本身并不能决定模型的识别质量。
从区域提议到掩码预测的发展
实例分割是在图像分割与类别级物体识别的交汇处发展起来的。早期的分割方法根据颜色、纹理、边缘或基于图的准则,将图像划分为多个区域。这些区域不一定对应完整的物体:带有花纹的动物可能被分成数块,而外观相似的相邻物体则可能被合并。识别系统能够提供类别信息,但仅凭类别识别无法确定精确的物体边界。
卷积神经网络在图像识别中的成功,加速了这些能力的结合。罗斯·吉尔希克(Ross Girshick)及其同事于2014年提出的 R-CNN,利用卷积特征对候选图像区域进行分类。同样在2014年,巴拉特·哈里哈兰(Bharath Hariharan)及其同事提出了同步检测与分割方法,通常简称为 SDS,对候选区域在物体检测和分割两方面进行评分。这项工作推动了实例级掩码预测成为一项具有独立基准评测的问题,而不再仅仅被视为对语义标注的细化。
2015年提出的 Fast R-CNN 先提取共享的图像特征,再处理候选区域,从而减少了重复计算。同年提出的 Faster R-CNN 又引入了通过学习得到的区域提议网络。尽管这些系统主要用于物体检测,但其共享特征和基于区域提议的设计,为实例分割奠定了实用基础。佩德罗·皮涅罗(Pedro Pinheiro)及其同事于2015年提出的 DeepMask,探索了通过学习生成物体掩码提议的方法;后续系统则进一步改进了提议细化与联合预测。
一个重要的里程碑是何恺明、乔治娅·吉奥克萨里(Georgia Gkioxari)、彼得·多拉尔(Piotr Dollár)和罗斯·吉尔希克于2017年提出的 Mask R-CNN。它在 Faster R-CNN 的基础上增加了一条并行分支,为每个选定区域预测物体掩码。其重要性在于,以相对简单且可训练的方式整合了检测与分割,并采用了精确对齐的特征采样操作。该方法成为广泛使用的基线,也成为许多面向特定领域的系统的基础。
后续研究挑战了实例分割必须从边界框提议入手这一假设。2019年的 YOLACT 将共享掩码原型与实例专属系数相结合;于2019年首次提出、2020年正式发表的 SOLO,则将实例分配到空间网格位置。2020年的 CondInst 为每个实例生成专属的卷积参数。此后,基于 Transformer 的方法将预测表示为一组用于生成掩码的查询,其中2021年的 MaskFormer 和2022年的 Mask2Former 展示了可适用于多种分割任务的架构。
这些技术并非简单地按时间顺序相互取代。在成熟的检测流程和逐物体处理具有优势的场景中,基于区域提议的系统仍然有用。密集预测系统侧重吞吐量和共享计算,而基于查询的系统则为多种分割任务提供了统一的建模方式。比较这些方法时,图像分辨率、训练数据、特征提取器和评测设置的影响,并不亚于架构类别本身。
基于候选区域的架构与空间对齐
基于候选区域的系统首先找出一组数量可控、可能包含对象的区域,然后在每个区域内预测掩码。典型架构包括用于提取特征的骨干网络、区域候选网络,以及分别负责类别分类、边界框精修和掩码预测的预测头。残差神经网络是常用的骨干网络,而特征金字塔网络则融合多个空间尺度的特征图,以处理不同大小的对象。
区域候选网络根据共享特征预测候选框及其包含对象的置信度得分。训练时,根据重叠规则将候选框与标注对象匹配;预测时,则对候选框进行筛选和精修。非极大值抑制通常会移除与高分框高度重叠的低分框,从而减少重复检测。这一步在密集场景中会带来取舍:原本用于抑制重复检测的规则,也可能抑制附近另一个确实独立存在的对象。
每个保留下来的区域都必须转换为固定大小的特征表示。早期的感兴趣区域池化操作在将边界框映射到特征图并划分为网格单元时,会对坐标进行量化。这种取整可能使特征相对于原始图像发生偏移。微小的偏移对类别识别可能影响不大,却可能明显降低预测边界的质量。
Mask R-CNN 通过 RoIAlign 解决了这一问题。RoIAlign 不将区域坐标取整到离散的特征图位置,而是通过双线性插值在非整数位置采样特征,再将这些样本聚合到输出网格单元中。由此得到的区域特征与图像保持了更准确的空间对应关系。当低分辨率特征网格需要支持像素级预测时,这一点尤为重要。
在最初的 Mask R-CNN 方案中,掩码分支针对区域内的每个对象类别分别预测一个小型二值掩码。训练时,掩码损失仅应用于与该区域真实类别对应的通道。在掩码分支中,各类别不会通过逐像素 softmax 相互竞争;分类由独立的分支处理。推理时,根据预测类别选择相应的掩码,再调整其大小并映射到图像坐标中。标准架构通常采用 的掩码输出,但这一分辨率并非该任务的固有要求。
基于候选区域的设计将每个对象单独置于归一化坐标系中,使掩码头能够专注于局部形状。其局限性也源于这种任务分解方式:候选区域阶段漏掉的对象无法由掩码分支找回,不准确的边界框可能截断掩码,而随着对象数量增加,对各区域的重复处理也会增加计算量。采用更高分辨率的掩码头和精修阶段可以改善边界,但会增加内存占用和运行时间。
密集预测、基于原型与动态生成的掩码
逐区域处理之外的另一种方案,是基于共享的图像特征进行密集预测。这些方法的区别在于如何将预测结果分配给对象,以及如何构建最终掩码。“单阶段”是对架构的宽泛描述,并不保证系统没有中间操作:候选对象筛选、掩码组装和重复结果去除等步骤仍可能必不可少。
Daniel Bolya 及其同事于 2019 年提出的 YOLACT,将掩码构建分解为共享原型和实例专属系数两个部分。全卷积分支生成 张原型图,检测分支则为每个候选对象预测系数。实例掩码可按下式构建:
其中, 是第 个原型, 是实例专属系数, 是 sigmoid 函数。组装后的掩码通常会被限制在预测的对象边界框内。这些原型不必对应具有明确名称的对象部件;训练过程会发现有助于重建掩码的空间模式。
这种分解使不同对象能够共享大部分掩码计算。其开销取决于原型的数量和分辨率,以及保留下来的检测结果数量。规模较小的原型基可能限制模型对复杂重叠形状的表达能力,而增大其容量则会提高计算量和内存需求。检测分支也依然重要,因为它决定哪些系数向量能通过筛选,以及掩码应在哪里裁剪。
SOLO 采用了另一种方法:根据对象的中心位置,将对象分配到空间网格中的相应位置,并利用不同特征层级处理不同尺寸的对象。这些位置上的预测结果编码了类别和掩码。2020 年提出的 SOLOv2 将掩码特征与动态预测的掩码卷积核分离。这样就不必将每个空间位置都视为完全独立的全分辨率掩码生成器,从而提高了掩码生成效率。
CondInst 同样采用动态计算,但它以每个实例为条件,为一个小型掩码生成网络生成参数。共享的图像特征与相对位置信息相结合,使紧凑的实例专属预测器能够将某个对象与其他对象区分开来。这不同于只确定一次普通静态掩码头的参数、再将相同参数应用于所有对象的做法:在 CondInst 中,掩码生成操作本身会随候选实例而变化。
另一类方法预测像素嵌入、对象中心、边界或位移向量,再将像素分组为实例。例如,像素可以预测指向其所属对象中心的偏移量,随后由分组过程组装出掩码。对于密集排列的对象,这类方法可能很有吸引力,但也会对中心检测、聚类阈值或边界断裂较为敏感。这些方法的表现体现了一项普遍的设计取舍:对象身份既可以通过候选对象显式表示,也可以从像素级预测结果之间的关系中恢复。
基于查询的分割与可提示模型
基于查询的模型将实例分割表述为对无序对象集合的预测。这类模型不将每项预测绑定到预先定义的边界框或网格单元,而是维护一组数量固定的查询向量,这些向量通过学习获得,或以图像为条件生成。解码器利用图像特征更新这些查询,每个查询分别预测一个类别和一个掩码。不对应任何对象的查询则被判定为“无对象”。
这种集合预测形式与2020年为目标检测提出的DETR密切相关。训练时,它在预测结果与标注对象之间建立一对一分配。匹配代价可以综合类别的一致程度与掩码或边界框的相似程度。通常使用匈牙利算法求解代价最小的分配。由于每个标注对象只分配给一个查询,这种训练方式会抑制多个查询对同一对象产生重复预测。
Transformer架构可以通过对图像特征的交叉注意力以及查询之间的交互来更新查询。尽管模型内部维护着带索引的查询槽位,其输出在集合层面仍具有置换不变性。槽位数量通常决定了单次预测所能返回的对象数量上限,因此,对于包含数百个实例的图像,查询容量是一个重要因素。
程波文(Bowen Cheng)及其同事于2021年提出的MaskFormer将分割视为掩码分类:先预测二值掩码,再为每个掩码分配类别。2022年提出的Mask2Former在这一框架中引入掩码注意力,利用预测的掩码区域限制注意力范围。这些系统展示了相近的架构如何支持语义分割、实例分割和全景分割。不过,这些任务仍然各不相同,因为训练标注以及输出的解读规则决定了掩码表示的是类别、独立对象,还是对整个场景的完整划分。
可提示分割处理的是一个相关但不同的问题。Alexander Kirillov及其同事于2023年提出的分割一切模型接受点或边界框等提示,并据此预测掩码。提示可以指明用户想要分割的对象,而不必从固定的识别词汇表中指定类别标签。其图像编码器可以计算可重复使用的特征,而以提示为条件的解码器则在后续交互中生成掩码。
不应直接将可提示的掩码生成等同于具有类别识别能力的实例分割。掩码生成器可能准确地勾勒出对象,却不为其命名、不判断哪些对象应被计数,也不消除所有重复掩码。因此,自动化处理流程可能会将其与检测器、以文本为条件的模型或额外的筛选步骤相结合。同样,开放词汇目标检测和语言引导分割虽然拓宽了指定类别的方式,但仍需明确对象选择、置信度评分和实例身份判定的规则。
标注、监督与优化
实例分割通常依赖监督学习,为每个标注对象提供独立的掩码和类别标签。创建这类标注比绘制边界框更费力,因为标注人员必须描绘边界、分开相互接触的对象,并对遮挡、孔洞、反射以及被图像边缘截断的对象采用一致的处理规则。标注规范还会规定,人手持的物体是否应视为独立实例,以及如何处理无法可靠区分各个成员的密集对象群。
2014 年推出的 COCO数据集成为常见对象实例分割的重要基准,其广泛使用的实例标注涵盖 80 个对象类别。2016 年推出的 Cityscapes 提供城市街道场景,包含 5,000 张图像的精细像素级标注,并对部分对象类别区分实例。2019 年推出的 LVIS 在常用版本中将类别数量扩展至一千多个,着重关注类别频率呈长尾分布所带来的挑战。
训练目标通常由多个项组合而成。基于候选区域的模型可以采用以下形式:
这些项分别监督类别预测、边界框坐标、掩码和候选区域生成,各项系数决定其相对影响。用于掩码的损失函数可以采用二元交叉熵、Dice 损失、焦点损失或其组合,具体取决于模型架构和类别不平衡情况。
对于软预测值 和二元目标值 ,一种常见的 Dice 型损失为:
它衡量的是区域层面的重叠程度,而不是将每个像素视为独立的分类样本。不同实现所采用的平滑常数、平均方式,以及分母中是否使用平方项,都可能有所不同。这些细节会影响结果复现,对小对象尤其如此。
数据增强可以包括缩放、裁剪、翻转和颜色变换。几何变换必须一致地应用于图像、掩码和边界框。裁剪可能会移除对象的中心或大部分可见区域,因此训练流程需要明确规定,保留还是丢弃受影响的标注。将分割出的对象复制到其他图像中,可以增加模型接触稀有类别的机会,但也会改变遮挡关系,并可能产生不真实的边界。
弱监督方法通过边界框、点、图像标签或不完整掩码进行学习,从而降低对标注的要求。伪标签方法可以利用模型预测来扩充已标注数据集,但也可能强化系统性错误。从预训练图像编码器进行迁移学习是常见做法,而自监督学习无需人工标注的预训练图像即可学习表征。无论采用哪种监督方式,按照独立场景或采集来源划分训练数据和评估数据,都有助于防止近乎重复的图像导致评估性能虚高。
评估与基准结果解读
衡量单个掩码重叠程度的基本指标是交并比,简称 IoU:
其中, 为预测掩码, 为标注掩码。IoU 为 1 表示两者完全一致,为 0 则表示没有重叠。仅凭 IoU 无法评估完整系统,因为还需考虑预测的类别、置信度分数,以及漏检和重复检测等问题。
平均精度将检测置信度与匹配质量结合起来。预测结果按分数排序;当某个预测的类别正确,且在规定的 IoU 阈值下与一个符合条件、此前尚未被匹配的标注相匹配时,该预测才被视为真阳性。多余的预测和重复检测通常计为假阳性;未被匹配的标注对象则计入假阴性。精确率衡量检测结果中正确结果的比例,召回率则衡量标注对象中被成功检出的比例。
COCO 的主要掩码 AP 指标在 0.50 至 0.95、间隔为 0.05 的十个 IoU 阈值上计算结果,并同时对阈值和类别取平均。因此,它既重视对象识别,也重视精确定位。与 IoU 阈值为 0.75 或更高时的 AP 相比,阈值为 0.50 时的 AP 对边界不够精确的情况更为宽容。COCO 还按对象大小报告结果,并报告在规定的检测数量上限下的平均召回率。官方评估流程对群体标注和忽略区域有专门的处理规则。
掩码 AP 不能与边界框 AP 混为一谈。一个系统可能用准确的边界框检出几乎所有对象,却生成质量较差的轮廓;也可能很好地勾画出部分对象,却漏掉许多实例。平均语义 IoU 同样不够充分:它可能因类别区域覆盖正确而给出较高分数,却无法按实例评估的要求,对相邻同类对象被合并的情况作出相应惩罚。
不同应用需要相互补充的衡量指标。基于边界的评分可以揭示细长结构中的误差,而这些误差对掩码总面积的影响可能很小。计数误差侧重反映实例的漏检和重复检测。生物成像可能采用对象级精确率、召回率、拆分与合并统计,或聚合重叠指标。全景分割通常采用全景质量指标,将匹配区域的重叠程度与各个分割区域的识别情况结合起来;它衡量的是一种相关但不同的输出规范。
解读基准分数时,还必须结合计算条件。图像尺寸、骨干网络容量、测试时增强、外部训练数据、最大检测数量以及类别覆盖范围,都可能对结果产生显著影响。运行速度的比较取决于硬件、批大小、数值精度、预处理和后处理。在对象较少的低分辨率图像上获得较高的每秒帧数,并不能证明系统在高分辨率的拥挤场景中也具有同等吞吐量。可复现的比较应明确说明这些条件,并在独立的测试集上进行评估。
静态图像之外的应用与扩展
在机器人领域,实例掩码用于识别图像中属于不同对象的区域,并帮助将这些区域与深度测量结果关联起来。在传送带上分拣物品的机器人,可能需要先区分相互接触的包裹,再选择抓取目标。分割能够确定对象在图像中占据的区域,但抓取规划还需要考虑几何形状、位姿、材料属性和碰撞约束。仅有正确的二维掩码,并不能确定对象的三维形状,也不能判断能否安全地抓取它。
显微成像利用实例分割来分离细胞、细胞核或其他结构,以便计数和开展定量分析。这种应用场景不同于常见物体摄影:对象可能数量众多、外观相似且排列密集,相互接触的对象之间也可能缺乏清晰的边界。面积、形状或强度的测量结果直接取决于掩码。错误拆分可能导致同一个结构被计数两次,而错误合并则可能将多个结构并为一个测量对象。因此,标注对象和验证方案必须与待测量的生物结构相匹配。
遥感利用实例级轮廓划分来识别建筑物、单棵树的树冠、车辆及其他空间对象。大型图像往往超出模型输入尺寸或内存的限制,因此通常会被切分成相互重叠的图块进行处理。这又带来了结果整合问题:跨越图块边界的对象可能被截断、被重复预测,或遭到遗漏。图像尺度、观测角度、季节变化和传感器之间的差异,也会影响模型在不同地理区域之间的迁移效果。
图像编辑利用掩码将对象单独分离出来,以便进行选取、重新着色、合成或替换。在这种应用中,可见边界可能比类别识别更为重要。不过,二值掩码并不等同于图像抠图;后者会估计头发、运动模糊或半透明材料等混合像素处的部分不透明度。抠图需要图像形成模型,而且可能需要对象明确的前景区域之外的信息。
视频实例分割将这一问题扩展到连续帧,2019 年推出的 YouTube-VIS 使其成为一项具有基准评测的任务。系统不仅必须生成掩码,还必须在时间上保持对象身份的一致性。遮挡、快速运动、外观变化以及对象重新进入场景,都会给时间关联带来困难。逐帧独立进行分割虽然可以生成准确的掩码,却可能反复改变对象标识,因此视频评测考察的是轨迹,而非孤立的检测结果。
三维实例分割为深度相机或激光雷达扫描等空间数据中的点或体素分配实例标识。它可以支持场景重建和对象级地图构建,也可以与同时定位与地图构建相结合。与单幅图像中的掩码不同,一个三维实例可能融合来自多个视角的观测。其表示方式必须能够处理不规则采样、不完整表面和不一致的可见性,同时区分持续存在的对象、运动对象以及短暂出现的传感器伪影。
失效模式与尚未解决的研究问题
遮挡与对象密集分布仍是核心难题。可见的图像证据可能支持多种合理解释:两只相互接触的动物可能看起来像一个连通的形状,而一个被遮挡的对象则可能呈现为若干互不相连的碎片。模型利用类别和上下文信息来处理这些情况,但也可能把某种熟悉却不正确的形状强加于含糊的图像证据。因此,实例之间的分离既依赖局部边界,也依赖全局的对象级推理。
小对象和精细结构暴露了空间分辨率的局限。特征提取通常会大幅缩小图像的空间尺寸,而将低分辨率掩码缩放回原始图像大小,并不能恢复此前未被保留的信息。一根细自行车辐条或植物茎秆可能只占特征图中一个单元的一小部分。提高输入分辨率、引入高分辨率特征或细化边界都有所帮助,但会增加计算量,而且仍无法弥补传感器所捕获细节的不足。
识别范围也是一项限制。对于词表固定的系统,除非某个未见类别已包含在其输出空间中,否则系统无法为其赋予正确标签。开放词表方法利用与语言关联的表征来扩大识别范围,但不常见的名称、外观相似的类别以及含糊的描述仍然难以处理。类别无关的掩码预测避开了部分涉及类别的限制,却无法解决哪些区域应被视为对象,以及应在部分—整体层级中选择哪一层级的问题。
新相机、光照、天气、地点或成像模态都可能引发分布偏移。即使类别名称存在重叠,在街景照片上训练的模型也可能无法处理航拍图像。长尾数据集还会造成另一种不平衡:常见类别有充足的样本,而稀有类别在训练数据中的形状变化可能很少。总体指标可能掩盖这些差异,因此,按类别、尺寸和采集条件考察性能,对于了解模型的适用范围十分重要。
置信度估计同样困难,因为类别判断的正确性与掩码质量并不等同。模型可能很有把握地识别出一个人,却生成不准确的轮廓;也可能生成良好的边界,却无法确定类别。一些架构会显式估计掩码质量,以改进排序。即便如此,分布偏移仍可能影响分数校准,而标注者之间的分歧也可能反映真实存在的歧义,而非单纯的建模错误。
可扩展性仍受图像分辨率和对象数量的制约。在压缩或采用其他表示方式之前,显式存储 个高度为 、宽度为 的掩码,所需存储空间与 成正比。原型分解、稀疏采样、分块处理和紧凑型掩码头可以降低部分开销,但也各有取舍。在密集场景中,候选区域、查询或保留的检测结果的数量限制,可能会对召回率形成上限,而与边界质量无关。因此,研究不仅关注如何获得更准确的掩码,也关注如何在内存和计算开销可承受的前提下,表示大量存在不确定性且相互重叠的对象。