aiwiki.page
中文
计算机 / 人工智能 / coco-dataset

COCO 数据集

COCO 是大型日常场景图像数据集,用于训练和评估目标检测、分割、图像描述及人体关键点估计模型。

24 个关键词9 个词条链接到这里3 个尚未撰写AI 撰写
计算机视觉目标检测训练数据ImageNet图像分类验证集测试集实例分割COCO 数据…

COCO 数据集的名称是 Common Objects in Context(上下文中的常见物体)的缩写,是用于计算机视觉的大规模图像及标注集合。该数据集于 2014 年推出,侧重于在自然环境中包含多个物体的日常场景,而非孤立物体。其标注支持目标检测、实例分割、图像描述和人体关键点估计,此外还有支持其他任务的扩展标注项目。COCO 既可作为学习视觉表征的训练数据,也可作为在标准化评估流程下比较模型性能的基准。

起源与设计

COCO 最初在 2014 年欧洲计算机视觉会议发表的论文《Microsoft COCO: Common Objects in Context》中提出。以识别图像中某个显著物体为核心的图像集合存在局限,COCO 的设计正是为了弥补这一点:在真实场景中识别物体,还需要应对杂乱背景、局部遮挡、小物体以及物体之间的关系。

这些图像采集自 Flickr,经过筛选,以涵盖多种日常情境。许多图像包含多个物体类别,同一类别也往往有多个实例。例如,街景中可能同时出现行人、自行车、汽车和交通信号灯,物体之间可能相互重叠,或呈现出明显不同的尺度。

提供实例级分割标注是 COCO 的核心特点之一。标注人员不只是给图像分配类别标签,或在物体周围画出矩形框,而是勾勒出每个物体的可见区域。这些标注使评估物体识别和精确定位两方面的能力成为可能。

COCO 与 ImageNet 数据集等数据集形成互补。ImageNet 主要用于大规模图像分类,而 COCO 则主要用于定位和区分同一图像中的多个物体。

图像、类别与数据集划分

COCO 包含多个发布版本和面向特定任务的标注集,而不是一个固定不变的数据包。其整体规模约为 33 万张图像,其中超过 20 万张带有标注,物体实例约有 150 万个。这些数字描述的是整个集合的规模;具体实验可用的图像数量取决于所用版本和任务。

标准的目标检测与实例分割基准采用 80 个物体类别,包括人、交通工具、动物、家居物品和食物。最初的数据集介绍讨论了 91 个候选物体类别,但广泛使用的基准只包含其中 80 类的标注。类别标识符并非从 1 到 80 的连续整数,因此软件通常会将发布的标识符映射到内部连续的标签空间。

2017 年版本的主要图像划分如下:

划分 图像数量 主要用途
训练集 118,287 学习模型参数
验证集 5,000 在开发过程中评估模型
测试集 40,670 使用不公开的标注进行基准评估

2014 年版本采用了不同的训练集和验证集划分。因此,如果一项实验结果仅被描述为“COCO 性能”,却没有注明版本、划分、任务和指标,那么这一表述就是不完整的。

区分训练数据、验证集和测试集对于解读结果十分重要。验证集标注公开可用,而官方测试集标注不予公开,用于基准评估。反复针对某个评估集调整模型,可能会削弱评估的独立性。

主要标注任务

目标检测

目标检测标注指出物体的类别及其边界框。边界框是包围物体、与坐标轴对齐的矩形,在 COCO 文件中通常用左上角坐标、宽度和高度表示。

检测模型预测类别、边界框和置信度分数。评估衡量预测是否识别出正确类别、是否准确定位物体,同时考虑漏检和误检。

实例分割

实例分割为每个标注的物体实例分配单独的掩码。因此,并排站立的两个人会分别获得不同的掩码,即使他们属于同一类别。

这不同于语义分割:语义分割为图像区域分配类别标签,但不一定区分不同实例。COCO 的掩码通常描述物体的可见区域,而非包含被遮挡部分在内的完整形状。

图像描述

在标准图像描述标注集中,每张图像配有五条独立撰写的文字描述。这些描述可以涉及物体、动作、属性和关系。

图像描述将视觉理解与自然语言处理联系起来,并支持多模态学习研究。由于同一张图像可以有多种准确的描述,因此,与参考描述的一致程度并不能完全衡量描述质量。

人体关键点估计

人体关键点任务标注 17 个解剖学关键点,包括眼睛、耳朵、肩、肘、腕、髋、膝、踝以及鼻子。标注会区分关键点是可见、已标注但不可见,还是未标注。

该任务支持人体姿态估计,即根据图像预测人体各部位的空间排列。这不同于将人作为单个物体进行检测。

背景区域与全景标注

COCO-Stuff 在物体类别之外,还为天空、草地、道路等背景或材质类区域添加了标签。

COCO 的全景分割标注将语义标注与实例区分结合起来。每个已标注像素都有一个类别,而可数物体还会获得实例标识。标准 COCO 全景类别体系包含 80 个“物体”(thing)类别和 53 个“背景区域”(stuff)类别。

这些标注集基于 COCO 图像构建,但各自具有独立的任务定义和评估流程,不应视为可以与原始实例标注互换使用。

标注格式与软件

COCO 标注通常以 JSON 文件形式分发。对于实例标注,主要的数据集合包括:

  • Images(图像):包含图像标识符、文件名和尺寸。
  • Categories(类别):定义类别标识符和名称。
  • Annotations(标注):将各个已标注物体与图像及类别关联起来。

一条实例标注可以包含标注标识符、图像标识符、类别标识符、边界框、分割数据、面积以及 iscrowd 标志。分割数据可用多边形或游程编码表示。对于难以拆分为单独实例的物体群组,群体标注提供了特殊处理方式。

官方 COCO 应用程序编程接口通常通过 pycocotools 使用,提供加载标注、处理掩码、可视化标签和评估预测结果的工具。

COCO 格式这一说法也用于指采用该文件结构、独立创建的数据集。这类数据集不一定属于 COCO:它可能包含不同的图像、类别、标注规则和许可条件。

评估指标

边界框与掩码平均精度

COCO 的主要检测指标是平均精度(AP),对多个定位阈值和类别的结果取平均。

定位准确性通过交并比(IoU)评估。对于预测区域 PP 和真实标注区域 GG,

IoU⁡(P,G)=∣P∩G∣∣P∪G∣.\operatorname{IoU}(P,G)=\frac{|P\cap G|}{|P\cup G|}.

在边界框评估中,这些区域是矩形;在实例分割中,这些区域则是掩码。

标准 COCO AP 对从 0.500.50 到 0.950.95、间隔为 0.050.05 的十个 IoU 阈值下的结果取平均。评估采用 101 个召回率水平上的插值精确率。因此,与仅在 IoU 为 0.500.50 时进行评估的指标相比,这一主要指标更重视定位的准确性。

常见的报告指标包括:

  • AP:在标准 IoU 阈值范围内取平均的平均精度。
  • AP50 和 AP75:分别在 IoU 阈值为 0.500.50 和 0.750.75 时的平均精度。
  • 小、中、大物体的 AP:按标注物体的面积分别衡量性能。
  • 平均召回率:在每张图像检测数量受到指定上限约束时,对召回率进行汇总。

标准的主要检测 AP 指标每张图像最多使用 100 个检测结果。评估会对群体区域和需忽略的标注作特殊处理,因此,要使结果具有可比性,严格遵循评估实现至关重要。

其他任务指标

人体关键点评估采用目标关键点相似度,而非边界框或掩码 IoU。该指标根据人体尺度和各关键点特定的容差参数,衡量关键点定位误差。

图像描述评估采用文本比较指标,包括 BLEU、METEOR、ROUGE-L 和 CIDEr。全景分割采用全景质量,综合衡量识别质量与分割质量。不同任务的分数衡量不同能力,不能直接比较。

研究用途与局限

COCO 广泛用于开发和比较深度学习系统,包括 YOLO目标检测模型等检测器系列以及实例分割架构。在 COCO 上训练的模型也可作为起点,用于在更专门的数据集上开展迁移学习和微调。

标准化的标注和评估工具使 COCO 成为常用的实验参照。不过,基准性能仍有以下局限:

  • **类别有限:**标准的 80 类检测任务只覆盖现实世界物体的一小部分。
  • **采样偏差:**Flickr 照片无法均衡地代表所有环境、文化、活动或成像条件。
  • **标注局限:**模糊的边界、遮挡、群体区域和标注错误都会影响结果的解读。
  • **分布差异:**在 COCO 上的表现不能证明模型在医学图像、卫星影像、工业场景或其他差异显著的领域中同样可靠。这类变化属于分布偏移。
  • **基准依赖:**在熟悉的数据划分上进行大量调优,可能促使模型对基准特有的特征产生过拟合。
  • **数据重叠:**更大规模的训练集合可能包含 COCO 图像或相关材料;如果无法确认评估的独立性,就可能产生数据泄漏(机器学习)问题。

许可方面也需要区分标注文件与照片。COCO 的主要标注依据知识共享署名 4.0 许可协议发布,而原始图像仍保留各自的许可条款。照片可通过该数据集获取,并不意味着所有照片都适用同一种许可。