{
  "id": "coco-dataset",
  "title": "COCO 数据集",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "COCO 是大型日常场景图像数据集，用于训练和评估目标检测、分割、图像描述及人体关键点估计模型。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "微软 COCO",
    "Microsoft COCO",
    "MS COCO"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/coco-dataset/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/coco-dataset/",
      "json": "https://aiwiki.page/en/coco-dataset.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "COCO 数据集的名称是 Common Objects in Context（上下文中的常见物体）的缩写，是用于计算机视觉的大规模图像及标注集合。该数据集于 2014 年推出，侧重于在自然环境中包含多个物体的日常场景，而非孤立物体。其标注支持目标检测、实例分割、图像描述和人体关键点估计，此外还有支持其他任务的扩展标注项目。COCO 既可作为学习视觉表征的训练数据，也可作为在标准化评估流程下比较模型性能的基准。"
    },
    {
      "heading": "起源与设计",
      "text": "COCO 最初在 2014 年欧洲计算机视觉会议发表的论文《Microsoft COCO: Common Objects in Context》中提出。以识别图像中某个显著物体为核心的图像集合存在局限，COCO 的设计正是为了弥补这一点：在真实场景中识别物体，还需要应对杂乱背景、局部遮挡、小物体以及物体之间的关系。\n\n这些图像采集自 Flickr，经过筛选，以涵盖多种日常情境。许多图像包含多个物体类别，同一类别也往往有多个实例。例如，街景中可能同时出现行人、自行车、汽车和交通信号灯，物体之间可能相互重叠，或呈现出明显不同的尺度。\n\n提供实例级分割标注是 COCO 的核心特点之一。标注人员不只是给图像分配类别标签，或在物体周围画出矩形框，而是勾勒出每个物体的可见区域。这些标注使评估物体识别和精确定位两方面的能力成为可能。\n\nCOCO 与 ImageNet 数据集等数据集形成互补。ImageNet 主要用于大规模图像分类，而 COCO 则主要用于定位和区分同一图像中的多个物体。"
    },
    {
      "heading": "图像、类别与数据集划分",
      "text": "COCO 包含多个发布版本和面向特定任务的标注集，而不是一个固定不变的数据包。其整体规模约为 33 万张图像，其中超过 20 万张带有标注，物体实例约有 150 万个。这些数字描述的是整个集合的规模；具体实验可用的图像数量取决于所用版本和任务。\n\n标准的目标检测与实例分割基准采用 80 个物体类别，包括人、交通工具、动物、家居物品和食物。最初的数据集介绍讨论了 91 个候选物体类别，但广泛使用的基准只包含其中 80 类的标注。类别标识符并非从 1 到 80 的连续整数，因此软件通常会将发布的标识符映射到内部连续的标签空间。\n\n2017 年版本的主要图像划分如下：\n\n划分 | 图像数量 | 主要用途\n训练集 | 118,287 | 学习模型参数\n验证集 | 5,000 | 在开发过程中评估模型\n测试集 | 40,670 | 使用不公开的标注进行基准评估\n\n2014 年版本采用了不同的训练集和验证集划分。因此，如果一项实验结果仅被描述为“COCO 性能”，却没有注明版本、划分、任务和指标，那么这一表述就是不完整的。\n\n区分训练数据、验证集和测试集对于解读结果十分重要。验证集标注公开可用，而官方测试集标注不予公开，用于基准评估。反复针对某个评估集调整模型，可能会削弱评估的独立性。"
    },
    {
      "heading": "主要标注任务",
      "text": "目标检测\n\n目标检测标注指出物体的类别及其边界框。边界框是包围物体、与坐标轴对齐的矩形，在 COCO 文件中通常用左上角坐标、宽度和高度表示。\n\n检测模型预测类别、边界框和置信度分数。评估衡量预测是否识别出正确类别、是否准确定位物体，同时考虑漏检和误检。\n\n实例分割\n\n实例分割为每个标注的物体实例分配单独的掩码。因此，并排站立的两个人会分别获得不同的掩码，即使他们属于同一类别。\n\n这不同于语义分割：语义分割为图像区域分配类别标签，但不一定区分不同实例。COCO 的掩码通常描述物体的可见区域，而非包含被遮挡部分在内的完整形状。\n\n图像描述\n\n在标准图像描述标注集中，每张图像配有五条独立撰写的文字描述。这些描述可以涉及物体、动作、属性和关系。\n\n图像描述将视觉理解与自然语言处理联系起来，并支持多模态学习研究。由于同一张图像可以有多种准确的描述，因此，与参考描述的一致程度并不能完全衡量描述质量。\n\n人体关键点估计\n\n人体关键点任务标注 17 个解剖学关键点，包括眼睛、耳朵、肩、肘、腕、髋、膝、踝以及鼻子。标注会区分关键点是可见、已标注但不可见，还是未标注。\n\n该任务支持人体姿态估计，即根据图像预测人体各部位的空间排列。这不同于将人作为单个物体进行检测。\n\n背景区域与全景标注\n\nCOCO-Stuff 在物体类别之外，还为天空、草地、道路等背景或材质类区域添加了标签。\n\nCOCO 的全景分割标注将语义标注与实例区分结合起来。每个已标注像素都有一个类别，而可数物体还会获得实例标识。标准 COCO 全景类别体系包含 80 个“物体”（thing）类别和 53 个“背景区域”（stuff）类别。\n\n这些标注集基于 COCO 图像构建，但各自具有独立的任务定义和评估流程，不应视为可以与原始实例标注互换使用。"
    },
    {
      "heading": "标注格式与软件",
      "text": "COCO 标注通常以 JSON 文件形式分发。对于实例标注，主要的数据集合包括：\n\n- Images（图像）：包含图像标识符、文件名和尺寸。\n- Categories（类别）：定义类别标识符和名称。\n- Annotations（标注）：将各个已标注物体与图像及类别关联起来。\n\n一条实例标注可以包含标注标识符、图像标识符、类别标识符、边界框、分割数据、面积以及 iscrowd 标志。分割数据可用多边形或游程编码表示。对于难以拆分为单独实例的物体群组，群体标注提供了特殊处理方式。\n\n官方 COCO 应用程序编程接口通常通过 pycocotools 使用，提供加载标注、处理掩码、可视化标签和评估预测结果的工具。\n\nCOCO 格式这一说法也用于指采用该文件结构、独立创建的数据集。这类数据集不一定属于 COCO：它可能包含不同的图像、类别、标注规则和许可条件。"
    },
    {
      "heading": "评估指标",
      "text": "边界框与掩码平均精度\n\nCOCO 的主要检测指标是平均精度（AP），对多个定位阈值和类别的结果取平均。\n\n定位准确性通过交并比（IoU）评估。对于预测区域 \\(P\\) 和真实标注区域 \\(G\\)，\n\n\\[\\operatorname{IoU}(P,G)=\\frac{|P\\cap G|}{|P\\cup G|}.\\]\n\n在边界框评估中，这些区域是矩形；在实例分割中，这些区域则是掩码。\n\n标准 COCO AP 对从 \\(0.50\\) 到 \\(0.95\\)、间隔为 \\(0.05\\) 的十个 IoU 阈值下的结果取平均。评估采用 101 个召回率水平上的插值精确率。因此，与仅在 IoU 为 \\(0.50\\) 时进行评估的指标相比，这一主要指标更重视定位的准确性。\n\n常见的报告指标包括：\n\n- AP：在标准 IoU 阈值范围内取平均的平均精度。\n- AP50 和 AP75：分别在 IoU 阈值为 \\(0.50\\) 和 \\(0.75\\) 时的平均精度。\n- 小、中、大物体的 AP：按标注物体的面积分别衡量性能。\n- 平均召回率：在每张图像检测数量受到指定上限约束时，对召回率进行汇总。\n\n标准的主要检测 AP 指标每张图像最多使用 100 个检测结果。评估会对群体区域和需忽略的标注作特殊处理，因此，要使结果具有可比性，严格遵循评估实现至关重要。\n\n其他任务指标\n\n人体关键点评估采用目标关键点相似度，而非边界框或掩码 IoU。该指标根据人体尺度和各关键点特定的容差参数，衡量关键点定位误差。\n\n图像描述评估采用文本比较指标，包括 BLEU、METEOR、ROUGE-L 和 CIDEr。全景分割采用全景质量，综合衡量识别质量与分割质量。不同任务的分数衡量不同能力，不能直接比较。"
    },
    {
      "heading": "研究用途与局限",
      "text": "COCO 广泛用于开发和比较深度学习系统，包括 YOLO目标检测模型等检测器系列以及实例分割架构。在 COCO 上训练的模型也可作为起点，用于在更专门的数据集上开展迁移学习和微调。\n\n标准化的标注和评估工具使 COCO 成为常用的实验参照。不过，基准性能仍有以下局限：\n\n- **类别有限：**标准的 80 类检测任务只覆盖现实世界物体的一小部分。\n- **采样偏差：**Flickr 照片无法均衡地代表所有环境、文化、活动或成像条件。\n- **标注局限：**模糊的边界、遮挡、群体区域和标注错误都会影响结果的解读。\n- **分布差异：**在 COCO 上的表现不能证明模型在医学图像、卫星影像、工业场景或其他差异显著的领域中同样可靠。这类变化属于分布偏移。\n- **基准依赖：**在熟悉的数据划分上进行大量调优，可能促使模型对基准特有的特征产生过拟合。\n- **数据重叠：**更大规模的训练集合可能包含 COCO 图像或相关材料；如果无法确认评估的独立性，就可能产生数据泄漏（机器学习）问题。\n\n许可方面也需要区分标注文件与照片。COCO 的主要标注依据知识共享署名 4.0 许可协议发布，而原始图像仍保留各自的许可条款。照片可通过该数据集获取，并不意味着所有照片都适用同一种许可。"
    }
  ],
  "links": [
    "computer-vision",
    "object-detection",
    "training-data",
    "imagenet",
    "image-classification",
    "validation-set",
    "test-set",
    "instance-segmentation",
    "semantic-segmentation",
    "natural-language-processing",
    "multimodal-learning",
    "panoptic-segmentation",
    "average-precision",
    "intersection-over-union",
    "deep-learning",
    "yolo",
    "transfer-learning",
    "fine-tuning",
    "distribution-shift",
    "overfitting",
    "data-leakage"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}