全景分割是一项计算机视觉任务,旨在为图像中的每个像素赋予语义类别,同时区分可数物体的各个实例。它统一了按类别标注区域的语义分割和区分独立物体的实例分割。例如,对街景进行全景解析时,既要识别道路、天空和植被,也要为每辆可见的汽车和每位可见的行人分配独立标识。其输出的核心特征是对整幅图像形成一套互不重叠的标注,而不是生成一组可能相互重叠的物体掩码。
任务定义与表示
全景分割将场景类别分为两大类:
- **可数物体(Things):**将其中的成员视为独立、可计数物体的类别,例如人、汽车和椅子。
- **不可数区域(Stuff):**将其视为区域或材料,而非独立物体实例的类别,例如天空、草地和道路。
这种区分由数据集的标注方案决定,并非物理世界的绝对属性。例如,树木在一个数据集中可能被标注为独立物体,在另一个数据集中则可能被标注为植被区域。
对于图像域 ,输出可表示为映射
其中, 是语义类别集合, 包含实例标识符。每个像素都会获得一个类别和一个实例标识符。对于可数物体类别,标识符用于区分同一类别中的不同物体。对于不可数区域类别,实例标识不具有物体计数意义,通常使用约定的标识符表示,或将同一类别的像素归为一组。
实例标识符只是图像内部任意指定的标签:交换两辆汽车的数字标识符,不会改变解析结果。一个分割区域也不必在空间上连通。同一物体的可见部分可能被遮挡物隔开,但仍保留相同的实例标识。
理想情况下,这项任务应标注每个像素。不过,实际的数据集和评估系统允许存在忽略区域、无效区域或群体区域;对于这些区域,常规的类别与实例分配可能无法获得或并不适用。
与其他识别任务的关系
与若干相关任务相比,全景分割提供了更全面的场景表示:
| 任务 | 典型输出 | 主要区别 |
|---|---|---|
| [[image-classification | 图像分类]] | 一幅图像的一个或多个标签 |
| [[object-detection | 目标检测]] | 物体类别和边界框 |
| 语义分割 | 每个像素的类别 | 不区分同一类别的不同实例 |
| 实例分割 | 每个检测到的物体的类别和掩码 | 通常关注可数物体类别,且可能允许掩码重叠 |
| 全景分割 | 每个像素的类别,以及可数物体实例的标识 | 兼顾场景覆盖与物体区分 |
全景分割并不是将语义分割与实例分割各自独立执行一遍。这两者的预测结果必须协调一致:如果两个物体掩码发生重叠,或物体掩码与不可数区域的预测冲突,最终输出必须确定每个像素归属于哪个分割区域。
标准任务描述的是图像中的可见区域,并不要求重建被遮挡物体的隐藏部分、估计深度,或在多个帧之间保持物体标识的一致性。
历史发展
亚历山大·基里洛夫(Alexander Kirillov)及其同事在2019年计算机视觉与模式识别会议上发表的论文中,正式定义了全景分割。该研究确立了统一的任务定义,并引入了全景质量这一同时适用于可数物体和不可数区域类别的评估指标。
这一任务定义回应了场景理解研究中长期存在的割裂:语义分割能够描述整幅图像,却会将同类物体合并;实例分割能够区分物体,却通常不涵盖背景区域。全景分割将这两项要求纳入同一个预测与评估问题。
早期方法通常将分别训练的语义分割系统和实例分割系统结合起来。后续方法则让不同任务分支共享图像特征,或通过统一的掩码表示来预测所有分割区域。全景特征金字塔网络、Panoptic-DeepLab,以及基于Transformer的掩码分类系统,体现了这一发展过程中的不同阶段。
主要方法
基于候选区域的多分支方法
一种常见方法使用共享的卷积神经网络提取图像特征,随后接入两个分支:
- 语义分支预测整幅图像的类别标签。
- 实例分支检测可数物体,并预测其掩码。
融合阶段将这些预测转换为一张全景分割图。这一阶段可能会按置信度对物体掩码排序、解决重叠、移除低置信度或过小的区域,并用不可数区域预测填充剩余像素。还可以使用非极大值抑制来减少重复的物体检测结果。
共享特征可以减少重复计算,但如何融合仍是设计中的重要问题。即使实例分支完全漏检了一辆汽车,语义分支仍可能正确地将相应区域识别为“汽车”。反过来,高置信度的物体掩码也可能覆盖正确的不可数区域预测。
自底向上方法
自底向上系统从稠密的像素预测出发,而不是从一组物体候选区域出发。模型可以预测语义标签、物体中心位置,以及从每个可数物体像素指向所属物体中心的偏移量。
系统根据预测的中心和偏移量对像素进行分组,再分配实例标识。这类方法无需单独的检测阶段,就能生成一致的稠密表示。其难点包括区分彼此靠近的物体、定位严重遮挡物体的中心,以及在物体尺寸差异很大时可靠地对像素分组。
统一掩码预测
许多现代系统将可数物体和不可数区域都表示为带有类别标签的预测掩码。数量固定或可变的一组可学习查询会生成候选分割区域;训练时,再将预测区域与标注区域进行匹配。
采用Transformer架构和注意力机制的模型,可以将全图信息与掩码预测结合起来。这一方向与检测Transformer中的集合式目标检测有关,不过全景分割系统还必须处理稠密掩码和不可数区域类别。
统一表示在概念上缩小了语义分支与实例分支之间的差别,但并不自动保证能得到有效的图像划分:掩码之间的竞争、重叠消解、置信度过滤,以及未分配像素的处理方式,仍取决于具体方法。
训练与标注
大多数成熟系统采用监督学习,使用像素级类别标注和物体实例掩码。制作这类训练数据需要投入大量工作,因为标注人员必须辨认边界、分开相邻物体,并一致地应用类别定义。
训练目标取决于模型架构,可能结合语义分类、物体分类、掩码预测、中心定位或像素分组等目标项。基于掩码的系统通常使用兼顾分类与掩码吻合程度的损失函数,并通过匹配过程将预测分割区域分配给真实标注区域。
重要的标注决策包括:
- 哪些类别算作可数物体,哪些算作不可数区域。
- 彼此分离的可见区域是否属于同一实例。
- 如何处理微小、模糊不清或严重遮挡的物体。
- 如何表示群体和未标注区域。
- 是否将同一不可数区域类别的像素归入单个分割区域。
COCO数据集提供了广泛使用的全景分割基准,同时包含可数物体和不可数区域类别。Cityscapes也是一项重要基准,尤其适用于城市街景。由于类别集合、图像特征和标注惯例不同,不同数据集上的结果不能直接等同看待。
评估
全景质量
主要的基准评估指标是全景质量(PQ),它兼顾分割区域识别和掩码吻合程度。
当同一类别的预测分割区域与真实标注区域之间的交并比(IoU)严格大于 时,两者即被匹配。对于预测区域 和真实标注区域 ,有
由于每套全景标注内部的分割区域互不重叠,对于通常的有效区域,这一阈值可以确保匹配唯一,而无需进行一般性的分配优化。
对于一个类别,令 表示匹配成功的区域对, 表示未匹配的预测区域, 表示未匹配的真实标注区域,则
PQ可分解为分割质量(SQ)和识别质量(RQ):
因此,当这些量有定义时,。SQ衡量匹配区域之间的掩码吻合程度;RQ则是类似F1分数的区域识别指标。
基准中的PQ通常对参与评估的各类别取平均值,也经常分别报告可数物体和不可数区域的结果。评估协议还会对无效区域、群体标注,以及没有可评估样本的类别规定额外规则。
指标的解读与局限
PQ将分割区域视为识别单位,而不是直接按照像素面积对所有贡献加权。因此,小物体即使只占少量像素,也可能对结果产生显著影响。
匹配阈值引入了不连续性:略低于阈值的区域无法匹配,而略高于阈值的区域则会匹配。PQ也不直接衡量置信度校准、处理速度、时间稳定性或三维一致性。
语义分割的平均交并比、实例分割的平均精度、边界指标和运行时间测量,可以提供补充信息。两个总体PQ相近的系统,在小物体识别、边界准确性或特定类别的表现上,可能存在显著差异。
应用与扩展
当场景理解既需要区分物体,又需要了解周围区域时,全景分割可以发挥作用。其应用包括机器人感知、街景图像自动分析、图像编辑,以及增强现实或虚拟现实系统。在建图流程中,全景分割可以为几何观测附加类别和实例信息,从而补充同时定位与地图构建。
基本任务定义有若干扩展:
- 视频全景分割增加了时间一致性要求,并在不同帧之间保持物体标识。
- 三维全景分割为点云、体素或重建表面分配语义类别和实例标识。
- 开放词汇全景分割旨在识别固定训练词汇表之外的类别,通常利用语言—图像表示。
- 全模态全景分割将可见区域分割扩展为包含物体被遮挡区域的表示。
这些扩展引入了原始单幅图像任务中没有的要求,例如时序关联、三维分组,或对未观测表面的推理。
实际局限
拥挤场景、遮挡、细长结构、反光表面和小物体仍然难以处理。即使语义类别判断正确,错误的分组决策也可能将多个物体合并为一个实例,或将一个物体拆分为多个实例。
性能还取决于成像条件和数据集的覆盖范围。不同地点、天气、传感器或物体外观之间的分布偏移可能降低准确率。固定的类别词汇表无法完整描述陌生场景,而可数物体与不可数区域之间的模糊界限,也限制了不同标注方案之间的可比性。
稠密的高分辨率预测可能需要大量计算和内存。运行时间取决于图像分辨率、模型架构、候选掩码数量和后处理过程。因此,仅凭基准准确率,并不能确定一个系统是否适合实时应用或资源受限环境。