**ImageNet 大规模视觉识别挑战赛(ILSVRC)**是一项于 2010 年至 2017 年每年举办的国际竞赛,用于评估系统识别和定位图像中物体的能力,后期还扩展到视频中的物体。它以 ImageNet 数据集的选定部分为基础,为计算机视觉提供标准化的数据集、任务和评估流程。2012 年,AlexNet 的成功展示了利用图形处理器训练的大型卷积神经网络的有效性,此后这项竞赛的影响力尤为突出。
与 ImageNet 的关系
ImageNet 与 ILSVRC 密切相关,但两者不能混为一谈。ImageNet 是一个大型图像数据库,按照 WordNet 词汇数据库中的概念组织;后者将词语归入代表不同词义的词集。ILSVRC 则是一项竞赛,也是一组基准任务,采用了这一更大资源中的部分选定类别和图像。
最广为人知的挑战赛数据集是包含 1,000 个类别的图像分类数据集,通常称为 ImageNet-1K。其 2012 年版本包含约 128 万张训练图像、5 万张验证图像和 10 万张测试图像。类别涵盖动物、植物、交通工具、工具及其他物体,其中一些类群划分得尤为细致,例如犬的品种。
这些数字描述的是广泛使用的分类基准,而非竞赛历年采用的所有数据集。检测任务和视频任务使用的类别集合、标注和数据集规模各不相同。
区分数据库与挑战赛也有历史意义:年度竞赛于 2017 年结束,但其数据集和评估惯例此后仍被研究工作广泛采用。
任务
竞赛的任务设置在历年有所变化。其中最核心的区别,是识别物体所属类别与确定各个物体出现位置之间的区别。
图像分类
在图像分类中,系统为整张图像给出各类别的得分。标准的 1,000 类任务评估的是:图像的指定类别是否出现在模型排名最靠前的预测结果中。
尽管一张图像可能包含多个可见物体,但标准分类基准在评分时只将其与一个目标类别关联。因此,它并不对场景中的所有内容作出详尽描述。
单目标定位
定位任务既要求预测类别,也要求给出表示目标物体位置的边界框。成功的预测必须识别出正确类别,并且与参考框有足够大的重叠。
这项任务检验了仅靠分类无法检验的能力:系统可能正确识别出图中有狗,却无法准确定位它。
目标检测
目标检测要求系统定位多个物体实例并判断其类别,而不只是给出一个图像级标签。2013 年引入的静态图像检测赛道采用了 200 个物体类别。
检测系统输出边界框、类别标签和置信度分数。评估必须考虑漏检、类别标签错误、边界框定位不准,以及对同一物体的重复检测。
视频目标检测
视频目标检测任务于 2015 年引入,采用了 30 个物体类别。它要求检测视频帧中的物体,允许系统同时利用时间信息和单帧的视觉内容。
后期赛事还出现了其他专门任务。因此,报告结果时应注明任务和年份,而不应简单称为“ImageNet 得分”。
评估方法
数据集划分
ILSVRC 遵循监督学习的标准做法,将数据划分为训练数据、验证集和测试集。
训练标注用于模型拟合。公开的验证标注使研究人员能够比较设计方案并选择设置。测试标注则不予公开,用于官方评估,以减少针对最终答案直接调优系统的机会。
竞赛规则还区分了相关训练条件,包括是否使用额外训练数据。要进行有意义的比较,必须确保这些条件一致,而不能只比较最受关注的得分。
分类错误率
最常见的两项分类指标是 top-1 错误率和 top-5 错误率:
- **Top-1 错误率:**排名第一的预测类别与参考类别不同的比例。
- **Top-5 错误率:**排名前五的预测结果中不包含参考类别的比例。
对于 张图像,top- 错误率可写为
其中, 是参考类别, 是模型排名最高的 个类别组成的集合。
Top-5 评估允许模型在视觉相似的类别之间存在一定不确定性。它比要求给出唯一正确答案更宽松,不应将其理解为与 top-1 准确率衡量相同的能力。
定位和检测指标
边界框的一致程度通常采用交并比衡量:
其中, 是预测框, 是参考框。
定位评分同时考虑类别是否正确以及重叠程度是否达标。检测评分先计算各类别的平均精度,再对这些值取平均,得到平均精度均值,即 mAP。其确切含义取决于匹配规则和评估规程;不同基准的 mAP 值不能直接视为可比。
历史发展
早期竞赛
首届 ILSVRC 于 2010 年举行。早期领先系统通常将人工设计的图像描述子与统计分类器相结合,其中包括支持向量机。性能在很大程度上依赖特征工程,例如选择局部描述子,以及选择将这些描述子聚合为图像表示的方法。
挑战赛的数据规模,使其成为一项严苛的检验,用以判断识别技术能否从相对较小的数据集扩展到更大规模。
2012 年的突破
2012 年,基于 AlexNet 的参赛系统取得了约 15.3% 的 top-5 分类测试错误率,而第二名的错误率约为 26.2%。
它的成功结合了深度卷积架构、在图形处理器上进行的训练、数据增强,以及用于减少过拟合的随机失活等技术。这一结果推动计算机视觉转向深度学习和通过学习获得的视觉表示。
其历史意义并不在于神经网络或卷积网络是在 2012 年发明的,而在于这项竞赛在一个备受瞩目的大规模场景中,证明了它们相较于当时其他强有力方法的有效性。
更深的架构
后续竞赛成为神经网络架构设计的重要试验场:
- VGG 网络展示了主要由小尺寸卷积滤波器构建的更深网络的有效性。
- GoogLeNet 是 2014 年的领先系统之一,利用 Inception 模块结合不同空间尺度的处理。
- 残差网络在 2015 年表现突出,通过快捷连接使深得多的网络更容易优化。
一个残差网络集成系统在 2015 年竞赛中取得了约 3.57% 的 top-5 分类错误率。这类备受关注的结果往往采用集成学习,并对同一图像进行多次评估,而非由单个网络处理一个图像裁剪区域。因此,将它们与更简单的系统比较时,也必须考虑计算需求。
最后一届年度 ILSVRC 竞赛于 2017 年举行。
对科研与实践的影响
ILSVRC 为视觉识别研究确立了一个广泛共享的参照标准。其规模和标准化评估使比较方法、复现实验和衡量进展变得更加容易。
它的影响超出了竞赛排名本身。在 ImageNet 上预训练的模型成为迁移学习的常用起点。研究人员可以通过微调使这些模型适应较小的数据集,也可以将模型的内部表示用作其他系统的输入。
这种做法推动了分类、检测和语义分割等领域的应用,即使下游任务的类别与挑战赛中的类别不同,也同样适用。
这一基准还塑造了研究基础设施。面向大型图像数据集的训练流水线、基于 GPU 的计算、数据增强流程,以及标准化的验证结果报告,都成为计算机视觉实验的常规组成部分。竞赛结束后,包括视觉Transformer在内的后续架构仍继续在 ImageNet 上接受评估。
局限与解读
识别不等于通用视觉理解
ILSVRC 衡量的是系统在指定识别任务上的表现,并不能直接证明系统具备空间推理、因果理解、物理交互或开放式场景解读能力。
分类器可能利用具有预测作用的纹理或背景,而不依赖人类认为具有决定性的那些证据。因此,基准上的高准确率所支持的结论,比具备通用视觉智能这一结论要狭窄得多。
数据集构成
图像主要采集自网络,类别层级则反映了关于纳入哪些概念、划分多细等方面的选择。类别频率、图像构成以及地理或文化覆盖范围,不一定与某个具体应用相符。
模型可能在基准上表现良好,却在面对不同相机、环境或物体群体时遭遇分布偏移。标签含糊、标注错误和描述不完整,也会限制评估得分能够证明的内容。
反复使用与对基准的适应
尽管隐藏测试集可以保护单次评估,但整个研究群体反复使用同一基准,可能促使研究间接适应该基准的特有之处。在公开验证数据上进行大量模型选择,同样会削弱开发与评估之间的界限。
这个问题不同于评估信息进入训练过程的直接数据泄漏(机器学习),但两者都会使关于泛化(机器学习)的论断变得更复杂。
关于达到人类水平的说法
某些系统取得的 top-5 错误率低于特定人类实验在同一任务上报告的数值。这类比较针对的是一个定义狭窄、具有特定类别和评分规则的基准。
它们并不能证明机器已经全面超越人类视觉。人类通常没有接受过区分全部 1,000 个基准类别的专门训练,而基准模型却可能在面对人类能够轻松应对的图像变化时失效。因此,与人类进行比较时,需要关注训练情况、对任务的熟悉程度和评估条件。