Faster R-CNN 是一种用于深度学习的目标检测架构,其任务是识别图像中的物体,并用边界框估计其位置。该架构由任少卿、何恺明、Ross Girshick 和孙剑于 2015 年提出,将可学习的区域建议网络(region proposal network,RPN)与基于区域的检测器整合在一起,使两者能够共享卷积神经网络特征。其核心贡献是用能够复用检测器图像表征的神经网络,取代独立且计算开销较大的候选区域生成过程。
背景与发展
Faster R-CNN 属于计算机视觉模型中的 R-CNN 系列。该系列经历了三种紧密相关的架构:
- **区域卷积神经网络(R-CNN)**通过外部方法生成候选目标区域,调整每个区域的大小,再将其分别送入卷积网络处理。由于需要对大量区域单独运行网络,计算开销很大。
- Fast R-CNN 只需对整幅图像计算一次卷积特征图,再从这一共享表征中提取各候选区域的特征,从而大幅减少重复计算。不过,它仍依赖外部的候选区域生成方法,通常采用选择性搜索。
- Faster R-CNN 引入了 RPN,直接利用检测器所用的同一张特征图生成候选区域。这消除了外部候选区域生成过程造成的瓶颈,也使候选区域生成过程能够通过训练学习。
原始论文《Faster R-CNN:利用区域建议网络迈向实时目标检测》(Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks)发表于 2015 年,并在同年的神经信息处理系统大会上报告。
名称中的“Faster”表示相较早期 R-CNN 系统的速度提升,并不保证在所有设备上都能实时运行。运行速度取决于骨干网络、图像分辨率、候选区域数量、具体实现,以及所用的图形处理器或其他硬件。
整体架构
Faster R-CNN 通常被称为两阶段检测器。第一阶段提出可能包含目标的候选区域;第二阶段对这些区域进行分类,并进一步细化其位置。
典型的推理流程如下:
- 从图像中计算共享特征图。
- 使用 RPN 生成候选边界框。
- 筛选候选区域并排序。
- 为每个选中的区域提取固定大小的特征表征。
- 预测目标类别并细化边界框。
- 去除冗余检测结果。
这两个阶段并不需要各自独立地通过完整的图像骨干网络。共享特征计算是其效率提升的主要来源之一。
共享特征提取
骨干网络将图像转换为空间特征图。这些特征图编码了有助于识别目标的模式;通常,越深的网络层提供的语义信息越丰富,但空间分辨率越低。
原始研究评估了 ZF、VGG-16 等骨干网络。后续实现则普遍使用残差神经网络及其他架构。骨干网络通常使用在 ImageNet 数据集上预训练得到的参数进行初始化,再通过微调适应具体任务。
由于骨干网络会对图像进行下采样,特征图上的一个位置对应原始图像中较大的一片区域。这种对应关系会影响定位精度,对小目标尤其如此。
区域建议网络
区域建议网络是一种作用于共享图像特征的小型全卷积网络。对于每个空间位置,它会预测预定义的参考框是否可能包含目标,以及应如何调整这些框。
锚框
锚框是与特征图上某个位置关联的参考边界框。通过设置多种尺寸和宽高比的锚框,RPN 可以处理不同形状的目标。
原始模型的一种广为引用的配置采用三种尺度和三种宽高比,在每个位置生成九个锚框。这只是一种设计选择,并非该架构的必要条件:不同实现可以采用其他锚框配置,也可以将锚框分布在多个特征层级上。
对于每个锚框,RPN 会预测:
- 一个目标性得分,表示该锚框对应目标而非背景的可能性;
- 四个边界框回归偏移量,描述位置与尺寸的变化。
在检测任务中,RPN 的目标性预测不区分类别:它只区分潜在目标与背景,不赋予检测器最终的类别标签。不过,这种目标性仍然是从训练数据中标注的目标学习而来的,并非对所有可能物体的无限制判断。
边界框参数化
一种常见的表示方法使用中心坐标 、宽度 和高度 描述边界框。相对于锚框 ,回归目标为
推理时,预测偏移量 按如下方式解码:
用锚框尺寸归一化位置偏移量,并用对数表示尺度变化,使同一套回归机制能够适用于不同大小的边界框。
候选区域筛选
RPN 预测的边界框按目标性得分排序。筛选过程通常包括去除不合适的框、将坐标限制在图像范围内,以及执行非极大值抑制(NMS)。
NMS 保留高分框,同时抑制与其重叠过多的低分框。重叠程度通常用交并比(IoU)衡量:
只有有限数量的候选区域会传入第二阶段。这能限制逐区域处理的计算量,但也带来了取舍:在此阶段被丢弃的候选区域,无法由检测头恢复。
基于区域的检测
第二阶段接收候选区域,预测其类别,并给出更精确的边界框。
感兴趣区域池化
原始架构沿用了 Fast R-CNN 的感兴趣区域池化,即 RoI 池化。每个候选区域被映射到共享特征图上,划分为固定网格,并在每个网格单元内进行池化。无论候选区域原本大小如何,得到的特征张量都具有相同的空间维度。
RoI 池化使大小不一的区域能够适配固定输入尺寸的检测头。不过,对区域边界和池化单元的离散化可能引入空间错位。
后续的 Faster R-CNN 实现也可能改用 RoIAlign。RoIAlign 随 掩膜区域卷积神经网络一同提出,通过插值采样避免 RoI 池化中的坐标量化问题。它是一种常见的改进,并不属于 Faster R-CNN 的原始设计。
分类与细化
检测头通常预测:
- 个目标类别及背景类别上的概率分布;
- 用于进一步细化各候选区域的边界框偏移量。
原始方案采用针对不同类别的边界框回归,后续实现中也有不区分类别的回归方式。
最终检测结果按得分筛选,通常还会按类别分别执行 NMS。因此,Faster R-CNN 可能执行两次 NMS:第一次用于筛选不区分类别的候选区域,第二次用于去除带有类别标签的重复检测结果。
训练
Faster R-CNN 使用监督学习,训练图像需标注目标类别和边界框。两个阶段都优化分类与定位目标。
分配训练目标
锚框根据 IoU 与真实标注框进行匹配。在原始 RPN 训练方案中:
- 与某个真实标注框的 IoU 大于 0.7 的锚框为正样本;
- 对于每个真实标注框,与其 IoU 最高的锚框也为正样本,即使该重叠程度低于 0.7;
- 与所有真实标注框的 IoU 都低于 0.3 的锚框为负样本;
- 其余锚框通常被忽略。
这些阈值是超参数,而非普遍适用的硬性要求。
由于背景锚框远多于正样本锚框,训练时会抽取数量有限的锚框,并控制正负样本比例。第二阶段检测器则单独对候选区域进行采样,并分配类别目标与回归目标。
多任务目标函数
RPN 将分类损失函数与定位损失组合起来:
其中:
- 是预测的目标性概率;
- 是二元目标性标签;
- 和 分别是预测的边界框偏移量与目标偏移量;
- 和 是归一化因子;
- 用于平衡两个目标。
因子 将边界框回归限制在正样本锚框上。原始模型采用平滑 回归损失:在误差接近零时呈二次形式,误差较大时呈线性形式。
第二阶段检测器也有相应的分类与回归目标函数。其边界框回归项只作用于前景候选区域,而不作用于背景。
优化过程中的特征共享
原始研究提出了一种四步交替训练流程:先训练 RPN,再使用其生成的候选区域训练检测器,随后进一步调整这两个组件,使它们共享卷积层。
该研究还介绍了近似联合训练,即同时训练 RPN 和检测器,但忽略经由候选区域坐标传播的梯度。因此,称 Faster R-CNN 可以联合训练,并不意味着候选区域选择、NMS 等所有操作都可微。
现代实现通常通过共享特征提取器进行反向传播,同时优化 RPN 和检测器的损失。
评估与性能
检测质量通常使用平均精度均值(mAP)评估。一次检测需要预测正确的类别,并满足与真实标注框的重叠程度要求。
结果在很大程度上取决于评估协议。PASCAL VOC 风格的评估通常采用 0.5 的 IoU 阈值,而 COCO数据集的主要检测指标则对 0.5 至 0.95 的多个阈值下的性能取平均。这些协议得到的分数不能直接等同。
性能还取决于骨干网络的容量、输入分辨率、候选区域数量、预训练方式及训练计划。速度比较需要采用相近的硬件和预处理条件,并应说明是否计入后处理耗时。单张图像的推理延迟,不一定等同于批量处理时测得的吞吐率所反映的性能。
扩展与相关架构
Faster R-CNN 成为多个有影响力的检测系统的基础。
**特征金字塔网络(FPN)**在多个空间分辨率上提供语义信息丰富的特征。与 Faster R-CNN 结合后,它可以在合适的尺度上生成候选区域并提取区域特征,从而改善对尺寸跨度较大的目标的处理能力。
Mask R-CNN 在该架构上增加了一个分支,为每个检测到的实例预测目标掩膜。它解决的是实例分割问题,而不只是边界框检测。
Cascade R-CNN 使用一系列检测头,并以逐步提高的 IoU 阈值训练它们,从而提升定位质量。
相比之下,YOLO目标检测模型等单阶段检测器不采用同样明确的候选区域生成与细化流程,而是直接预测检测结果。检测Transformer等基于 Transformer 的检测器则将检测建模为集合预测问题。这些区别描述的是架构思路;准确率和速度的高低仍取决于具体模型与评估条件。
应用与局限
Faster R-CNN 被用作通用检测器和研究基线,适用于定位车辆、商品、动物及工业缺陷等任务。其模块化架构允许替换骨干网络、候选区域生成机制、区域特征和检测头。
主要局限包括:
- 逐区域计算。 处理大量候选区域会增加延迟和内存开销,在高分辨率图像或密集场景中尤为明显。
- 候选区域召回率。 如果 RPN 未能保留有效的候选区域,第二阶段便无法检测到相应目标。
- 尺度敏感性。 小目标在特征图上可能只占据过少的位置,难以可靠检测。锚框配置与多尺度特征会影响这一表现。
- 密集场景中的抑制。 NMS 可能会抑制彼此邻近且相互重叠的目标所对应的有效检测结果。
- 对标注的依赖。 边界框漏标与类别标签不一致可能使训练目标失真。
- 对分布的敏感性。 成像条件、目标外观或场景构成的变化可能引发分布偏移,导致性能下降。
- 固定的类别词表。 标准 Faster R-CNN 只能预测训练时设定的类别,本身并不支持开放词汇目标检测。
它输出的边界框只能提供粗略定位,而非精确的目标轮廓。要实现像素级轮廓划定,需要实例分割头等额外机制。