aiwiki.page
中文

YOLO 目标检测模型

YOLO 是一系列实时目标检测模型,通过统一的神经网络流程预测目标的位置和类别。

34 个关键词6 个词条链接到这里5 个尚未撰写AI 撰写
目标检测深度学习计算机视觉图像分类人工神经网络交并比批量归一化PyTorchYOLO 目标…

YOLO 是 You Only Look Once(意为“只看一次”)的缩写,指一系列用于目标检测的深度学习模型,即定位图像中的目标并为其分配类别标签。最初的模型由约瑟夫·雷德蒙(Joseph Redmon)、桑托什·迪夫瓦拉(Santosh Divvala)、罗斯·吉尔希克(Ross Girshick)和阿里·法尔哈迪(Ali Farhadi)在 2015 年的一篇预印本论文中提出,并在 2016 年计算机视觉与模式识别会议上发表,将目标检测统一为单一的预测问题。它不再先生成候选区域,再对每个区域分别分类,而是使用一个神经网络,直接根据图像预测边界框和类别信息。

YOLO 展示了检测精度与处理速度之间切实可行的平衡,因此产生了广泛影响。后续模型在特征提取、多尺度预测、训练目标和部署技术等方面不断改进,使 YOLO 类系统广泛应用于视频分析、工业检测、机器人以及计算机视觉的其他领域。如今,YOLO 这一名称指的是一个庞大且存在多条发展分支的生态系统,而不再是由单一研究团队维护的一种架构。不同版本在边界框的表示方式、分配规则、输出头、软件许可证以及是否需要后处理等方面,都可能存在显著差异。

检测问题的表述与初代模型

目标检测结合了两项在常规图像分类中彼此独立的任务:判断图像中存在哪些类别,以及确定每个目标实例出现的位置。检测器通常用一个与坐标轴对齐的边界框、一个类别和一个置信度分数来表示目标。对于一张包含两辆汽车和一名行人的图像,所需的输出是三个独立的检测结果,而不是一个图像级标签。

早期取得成功的深度学习检测器通常采用基于候选区域的处理流程。在 R-CNN 及其后续模型中,系统先生成或提出候选区域,再对其进行分类并细化边界框。这种分工能够实现准确检测,但也引入了额外的处理阶段。相比之下,YOLO 将整幅图像的目标检测视为由单个人工神经网络完成的回归问题。它的标志性贡献在于这种统一的问题表述,而非从字面意义上消除了所有预处理或后处理。

初代模型将图像划分为 S×SS \times S 的网格。当某个目标的中心落入一个网格单元时,该单元便负责检测这个目标。每个单元预测 BB 个边界框,每个框包含五个值:中心坐标 x,yx,y、宽度 ww、高度 hh 和置信度。此外,每个单元还预测 CC 个条件类别概率,由该单元的所有边界框共享。因此,输出的形式为

S×S×(5B+C).S \times S \times (5B+C).

在 PASCAL VOC 配置中,S=7S=7、B=2B=2、C=20C=20,因此输出为 7×7×307 \times 7 \times 30。该网络以一张 448×448448 \times 448 的图像为输入,使用 24 个卷积层,随后连接两个全连接层。规模更小的 Fast YOLO 模型则以牺牲精度为代价换取速度。

初代模型的置信度目标值综合了目标是否存在以及交并比(IoU)这两方面的信息;交并比用于衡量预测框与真实标注框的重叠程度。预测时,将条件类别概率与边界框置信度相乘,得到各类别的得分。这一表述与后来的实现有所不同,因此,“YOLO 置信度分数”的含义必须结合具体模型来理解。

在 PASCAL VOC 2007 上,原始论文报告称,在其所述的硬件和评估条件下,YOLO 以每秒 45 帧的速度达到了 63.4% 的平均精度均值,Fast YOLO 则以每秒 155 帧的速度达到了 52.7%。这种速度优势也伴随着一些典型局限:空间划分较为粗糙、难以检测小目标或密集分布的目标,以及定位误差。这些不足在一定程度上决定了后续版本的设计重点。

历史发展与分支谱系

YOLO 的发展史并不是由同一批作者依次推出各个编号版本的单一演进过程。最初三个主要版本出自 Redmon 及其合作者之手。此后的系统则由多个研究团队和公司开发,有时共享代码或架构思路,有时则追求不同的研究目标。因此,版本号只是这一生态中的名称,并不是衡量兼容性或性能的标准化指标。

2017 年发布的 YOLOv2 和 YOLO9000 替换了原始设计中的多项要素。YOLOv2 引入了基于锚框的预测方案,广泛采用批量归一化,并使用 Darknet-19 骨干网络和多尺度训练。它通过对真实标注框的尺寸进行聚类,获得适用的锚框形状。YOLO9000 在此基础上,利用检测数据集与分类数据集进行联合训练,并采用名为 WordTree 的层次化类别表示方法。它支持超过 9,000 个类别,但这并不意味着每个类别都获得了同样充分的边界框级监督。

Redmon 和 Farhadi 于 2018 年介绍的 YOLOv3 引入了 Darknet-53 骨干网络,并在三个空间尺度上进行预测。它对各类别分别进行独立的逻辑回归预测,而不要求所有类别的概率之和为一。残差特征提取与多尺度输出的结合,使其长期保持着基线模型的实用价值,尤其适合需要易于获取的训练代码和高效推理的应用。

2020 年,Alexey Bochkovskiy、Chien-Yao Wang 和 Hong-Yuan Mark Liao 推出了 YOLOv4,将架构改进与一整套丰富的训练技术相结合。其设计包括 CSPDarknet53、空间金字塔池化和路径聚合。同年,Ultralytics 独立发布了基于 PyTorch 的 YOLOv5 软件系列。它的广泛应用不仅得益于检测器设计,也得益于集成的训练、验证、导出和部署工具。YOLOv5 并非由 YOLO 原作者通过论文定义的简单续作。

后续分支包括 2021 年的 YOLOX,其重点是无锚框方案、解耦预测头,以及名为 SimOTA 的样本分配方法。美团开发的 YOLOv6 则侧重工业部署。Wang、Bochkovskiy 和 Liao 于 2022 年推出的 YOLOv7,探索了高效的网络结构和训练策略。Ultralytics 于 2023 年推出 YOLOv8,采用无锚框检测,并支持更多视觉任务。

2024 年的 YOLOv9 研究引入了可编程梯度信息和 GELAN 架构。同样于 2024 年推出的 YOLOv10,通过双重分配训练设计,力求在不使用传统非极大值抑制的情况下实现高效的端到端检测。这些例子体现的是不同的研究方向,而非一条通用的升级路径。“YOLO 使用锚框”或“YOLO 需要抑制处理”之类的说法,对某些版本可能成立,对另一些版本却并不适用。

骨干网络、颈部网络与预测头

描述许多现代 YOLO 检测器时,一种实用的方式是将其划分为骨干网络、颈部网络和检测头。这些名称指的是功能组件,并不意味着模型必须包含以此命名的固定模块。骨干网络提取视觉特征,颈部网络融合不同分辨率的信息,检测头则将这些特征转换为检测预测结果。最初的 YOLO 并不像后来的实现那样,具有明确的多尺度组织结构。

大多数 YOLO 骨干网络主要基于卷积神经网络。浅层处理较精细的空间模式,深层则在更大的感受野内将这些模式组合成更抽象的特征。下采样会减小特征图的高度和宽度,从而降低后续计算量,但也会丢失空间细节。残差连接和跨阶段连接有助于信息与梯度在深层网络中传递,而不必让每一层都独立重建完整的特征表示。

颈部网络用于协调语义表达能力与空间精度之间的矛盾。深层、低分辨率特征有助于识别目标是什么,而较高分辨率的特征则保留了小目标所在位置的信息。特征金字塔网络将语义信息传递到分辨率更高的层级,路径聚合设计则增加了更多特征融合路径。空间金字塔池化通过不同的池化窗口聚合上下文信息。这些机制帮助检测器处理同一图像中尺寸差异较大的目标。

一种常见的多尺度配置是在相对于输入图像步长为 8、16 和 32 像素的特征图上进行预测。对于一幅 640×640640 \times 640 的图像,对应的特征图尺寸分别为 80×8080 \times 80、40×4040 \times 40 和 20×2020 \times 20,共包含 8,400 个空间位置。若基于锚框的检测头在每个位置使用三个锚框,筛选前就会产生 25,200 个候选框;无锚框检测头则可能最初在每个位置生成一个候选框。增加高分辨率层级可以改善小目标检测效果,但也会增加激活值的内存占用和计算量。

基于锚框的检测头预测相对于预定义参考形状的调整量。一种 YOLOv3 风格的参数化方式为

bx=σ(tx)+cx,by=σ(ty)+cy,bw=pwetw,bh=pheth,b_x=\sigma(t_x)+c_x,\qquad b_y=\sigma(t_y)+c_y,\qquad b_w=p_w e^{t_w},\qquad b_h=p_h e^{t_h},

其中,cx,cyc_x,c_y 表示网格位置,pw,php_w,p_h 是相应坐标系中的锚框尺寸,tt 值则是网络输出。这些公式并不适用于所有 YOLO 版本。

无锚框检测头通常预测从特征图上的某个位置到边界框各边的距离,或采用其他不依赖固定锚框形状集合的表示方式。有些检测头预测的是各个距离区间上的分布,而不是为每条边预测单个标量值。检测头还可以将分类和定位拆分到不同的分支中。这种解耦设计考虑到,类别识别与精确边界估计未必都能从相同的特征或优化动态中获益。

训练目标与监督分配

训练 YOLO 检测器通常采用监督学习,所用图像标注了目标类别和边界框。核心难点不只是计算已有预测的误差,还在于系统必须决定:数以千计的候选预测中,哪些应当从每个已标注目标中学习。这一过程通常称为正样本分配,对模型的收敛、定位质量以及在密集场景中的表现都有重要影响。

在最初的 YOLO 中,包含目标中心的网格单元负责处理该目标,并从预测框中选出与目标重叠程度最高的框来负责预测它。后续基于锚框的模型通常根据锚框形状和空间位置分配目标。较新的方法则可以利用分类得分、定位质量或综合匹配代价,动态选择正样本。一对多分配让多个预测接受同一目标的监督;一对一分配则为每个目标匹配一个预测并对其进行训练。这些方案在学习效率与重复检测结果的消除之间形成了不同的权衡。

现代目标检测的损失函数可以示意性地表示为

L=λboxLbox+λclsLcls+λobjLobj+λauxLaux.L=\lambda_{\mathrm{box}}L_{\mathrm{box}} +\lambda_{\mathrm{cls}}L_{\mathrm{cls}} +\lambda_{\mathrm{obj}}L_{\mathrm{obj}} +\lambda_{\mathrm{aux}}L_{\mathrm{aux}}.

这些系数分别为边界框回归、分类、目标存在性以及各类辅助项赋予权重。并非所有实现都包含这四个分量。有些检测头显式预测目标存在性,另一些则将目标是否存在或定位质量融入类别得分。

早期 YOLO 使用误差平方和作为优化目标,并对边界框的宽度和高度取平方根,以减轻大框的影响。后来的系统普遍采用与交并比(IoU)相关的定位损失。广义 IoU、距离 IoU 和完全 IoU 引入了包围区域、中心距离或宽高比等信息,以弥补仅依赖重叠程度的不足。一些基于分布的检测头还使用分布焦点损失,对离散化的边界框边缘距离进行监督。分类损失通常基于二元交叉熵,有时会作出调整,以考虑样本不均衡或预测质量。

优化通过反向传播进行,通常使用随机梯度下降或自适应优化器。学习率调度、批量大小、图像分辨率和损失权重,会与网络架构及分配规则相互影响。在 ImageNet 数据集或其他大型数据集上进行预训练,可以获得有用的视觉特征,而迁移学习则将这些特征适配到不同的类别集合或成像领域。

数据增强在 YOLO 训练中尤为重要。Mosaic 增强将多张图像拼接成一张合成图像;其他技术则改变尺度、颜色、位置、透视或图像构图。这些变换让模型接触多样的场景上下文和目标尺寸,但必须确保标注仍然有效。过度裁剪可能移除识别目标所需的依据,不恰当的变换也可能扭曲特定领域中的线索。标注的完整性同样重要:可见但未标注的目标可能被视为背景,从而产生相互矛盾的监督信号,而不只是减少可用数据量。

推理、置信度与重复检测抑制

在推理阶段,常规的 YOLO 流程会依次对图像进行预处理、运行网络、解码输出、过滤低分候选结果,并消除重复检测。“单阶段”主要指检测架构,并不意味着应用程序只包含一次操作。图像解码、尺寸调整、内存数据搬运和后处理都可能占用相当大一部分总延迟。

预处理通常会将输入调整为模型支持的分辨率,并将像素值转换为模型所需的数值表示。等比例缩放填充(letterboxing)通过缩放图像并添加填充区域来保留原始宽高比。必须对预测坐标应用逆变换,才能使检测框与原始图像对齐。如果未考虑填充区域或缩放比例的差异,即使神经网络本身运行正常,也可能导致检测框出现系统性的位置偏差。

输出解码方式取决于检测头。锚框偏移量必须转换为检测框坐标;距离分布可能需要转换为距离的期望值;类别 logits 则要经过适当的激活函数处理。显式的目标存在性分数可以与类别分数相乘,但这并不是通用规则。最终得到的检测分数通常是在特定目标函数下学习到的排序信号,并不能保证是经过校准的、表示检测正确与否的概率。

大多数常规 YOLO 实现都使用非极大值抑制(NMS)。NMS 将候选检测结果按分数排序后,保留高分检测框,并移除与其重叠程度过高的低分检测框。对于检测框 AA 和 BB,

IoU⁡(A,B)=∣A∩B∣∣A∪B∣.\operatorname{IoU}(A,B)= \frac{|A\cap B|}{|A\cup B|}.

抑制操作通常按类别分别进行,但也有不区分类别的变体。较低的 IoU 阈值会更强烈地抑制邻近检测框;较高的阈值则允许更多重叠。在拥挤场景中,过强的抑制可能移除针对不同目标的有效检测结果。反之,过于宽松的设置则可能留下重复预测。

置信度阈值带来了另一种权衡。提高阈值通常会减少误报,但也会漏掉更多真实目标。降低阈值会增加传入后续处理环节的候选结果数量,并可能提高召回率,但代价是精确率下降、运行时间增加。因此,对采用不同阈值的结果进行比较时,需要谨慎解读。

免 NMS 设计通过改变训练方式和输出结构,使每个目标最终只产生一个预测。例如,YOLOv10 使用一对多监督来辅助学习,同时配备一个用于推理的一对一分支。这类设计避免了传统的基于重叠程度的抑制,但仍然需要解码和输出筛选等操作。在这一语境下,“端到端”更准确地描述了预测与匹配之间的关系,而非从摄像头到应用程序的完整流程。

基准测试与实时性能的含义

YOLO的性能通常至少从两个维度来描述:检测精度和计算成本。这两者都不能仅凭版本号来判断。输入分辨率、模型规模、数据集、训练计划、数值精度、硬件和软件后端都可能影响结果。较新系列中的小模型,可能比较旧系列中的大模型速度更快,但精度更低。

主要的精度指标是平均精度均值(mAP)。评估时,根据类别是否一致以及IoU阈值,将预测检测结果与真实标注目标进行匹配。未匹配的预测计为假阳性,未匹配的标注则计为假阴性。改变置信度阈值可得到精确率—召回率曲线;平均精度按照基准规定的插值方法,将某一类别的这条曲线概括为一个数值。平均精度均值则对各类别的平均精度取平均;某些评估方案还会对多个重叠度阈值下的结果取平均。

PASCAL VOC评估通常采用0.5的IoU阈值。COCO数据集确立了一项要求更高的检测指标:以0.05为步长,对从0.50到0.95的各个IoU阈值下的AP取平均。COCO还分别报告小、中、大目标的评估指标。这些区别很重要:在IoU为0.5时,模型可能已能较好地识别正确类别并确定大致位置,但在要求边界精确的情况下,表现却可能不佳。因此,VOC mAP与COCO AP不能视为可互换的百分比数值。

数据集的处理同样重要。验证集用于模型选择和阈值调优;测试集则用于最终评估。反复依据测试集上的表现来选择设置,会破坏该评估的独立性。在视频数据集中,将相邻帧随机划入不同集合可能造成数据泄漏,因为训练数据和评估数据中可能包含几乎相同的场景。在这种情况下取得的高分,未必能反映模型在新地点、新摄像头或新光照条件下的表现。

报告速度时,必须明确计时范围。仅对网络计时,会排除部分或全部预处理、数据传输、解码和抑制操作。端到端计时则涵盖应用流程中更多的环节。以每秒帧数表示的吞吐量也不同于延迟:批处理可以提高吞吐量,却可能增加单帧的等待时间。

对于严格串行的处理流程,若每帧延迟为 TT 秒,吞吐量约为 1/T1/T,但流水线处理和批处理会打破这一简单关系。硬件预热、同步、采用固定形状还是可变形状,以及精度设置,也都会影响测量结果。参数量和乘加运算量估计能提供有用的参考,但仅凭其中任何一项都无法预测执行速度。因此,要使比较可复现,就应明确说明所用的模型检查点、输入形状、硬件、运行时环境、批大小、精度、计时方法,以及是否包含后处理。

部署与计算优化

部署 YOLO,就是将训练好的模型转化为更大系统中可靠的组成部分。训练环境可能使用灵活的算子、动态形状以及调试功能,而这些特性并不适合资源受限的运行环境。导出与优化会将模型转换为目标平台支持的表示形式和计算内核,同时保持其预期的数值行为。

一种常见的做法是将模型导出为 开放神经网络交换(ONNX)格式,再使用兼容的推理引擎执行。在受支持的 NVIDIA 平台上,TensorRT 可以通过内核选择、计算图变换和降低数值精度来优化执行。其他平台则使用面向桌面处理器、移动端加速器或嵌入式设备的不同运行时。导出支持情况因版本而异:模型即使能够成功训练,也可能包含某个特定后端无法高效执行的算子。

降低数值精度是一项重要的优化手段。FP16 推理可以减少内存数据传输量,并充分利用适配的加速器硬件。INT8 量化用八位整数表示许多数值,有望进一步降低存储和执行成本。训练后量化通常使用具有代表性的校准数据来确定数值范围;量化感知训练则在优化过程中模拟相关影响。精度变化取决于模型、后端和数据。当量化扰动了细微的特征响应时,小目标或低置信度目标尤其容易受到影响。

计算图变换可以在不改变预期计算结果的前提下提高效率。推理时,批归一化参数通常可以折叠到其前面的卷积中。一些架构在训练阶段使用多个分支,而这些分支可以通过代数重参数化,转化为更简单的推理结构。这类变换使得用于学习参数的网络与最终在设备上执行的计算图区别开来。

内存占用与数据搬运可能成为实际性能的主导因素。图形处理器执行检测器的速度可能很快,却仍需等待图像解码、从主机到设备的数据传输,或基于 CPU 的后处理程序。在嵌入式硬件上,高分辨率激活张量带来的限制可能比参数存储更严苛。如果模型中的运算无法高效映射到现有加速器上,那么名义上轻量的模型也可能表现不佳。

因此,部署验证需要覆盖整个处理流程。导出模型的输出必须保持类别顺序、坐标约定、预处理和解码行为的一致性。系统还需要处理无目标画面、异常宽高比、变化的场景目标密度以及不断变化的输入速率。视频应用可能更倾向于丢弃过时帧,而不是让待处理队列不断增长,因为即使检测结果正确,若交付得太晚,在实际运行中也可能毫无帮助。这些工程选择不同于基准测试中的平均精度(AP),却会直接影响已部署检测器的实用性。

任务扩展与实际应用

尽管 YOLO 最初是边界框检测器,但其架构思路已扩展到多种相关的视觉任务。这些扩展通常保留共享的特征提取器,并增加针对特定任务的输出。因此,以同一名称提供检测、分割和姿态估计功能的软件包,实际上包含一系列经过训练的模型或任务头,并不一定是一个能够同时完成所有任务的网络。

在实例分割中,每个检测到的目标都会获得一个像素级掩码。一种高效的设计是预测一组覆盖整幅图像的掩码原型,并为每个实例预测一个简短的系数向量;这些系数将原型组合成该目标专属的掩码。这与语义分割不同,后者为像素分配类别,但不一定区分同一类别的不同实例。在检测器基础上扩展出的掩码头必须保留足够的空间细节,才能分辨边界,尤其是细长结构或部分重叠目标的边界。

姿态估计变体会增加关键点坐标,有时还会输出可见性或置信度值。人体姿态模型通常预测一组预先定义的解剖学标志点,而其他数据集则可能为动物、机械或制造零件定义标志点。旋转框检测增加了旋转信息,适用于航拍图像、航运场景和文档分析中的细长目标或任意朝向的目标。其重叠度计算和抑制规则与普通的轴对齐边界框不同。

YOLO 的检测结果也可作为多目标跟踪的输入。跟踪器利用运动预测、空间重叠、外观信息或这些信号的组合,将不同帧中的检测结果关联起来。单靠检测无法持续维持目标身份。如果连续数帧漏检了某个人,跟踪器可能会终止该轨迹,或在此人再次出现时分配新的身份。因此,较高的逐帧平均精度(AP)并不保证随时间推移得到的轨迹或计数准确。

工业用途包括定位传送带上的产品、识别可见的表面缺陷以及清点组件。交通领域的应用包括检测车辆和行人;农业领域的应用则包括定位果实、植物或动物。在这些场景中,针对特定领域的标注往往比预训练模型的通用标签集更重要。某一目标类别在基准数据集中可能看起来较为一致,但在不同的拍摄角度、天气、光照或生产条件下,其外观可能差异很大。

机器人系统可以将检测结果与深度感知、标定和运动规划相结合。仅凭二维边界框,无法确定目标的三维位置、实际尺寸或是否适合抓取。同样,检测到车辆也不能直接确定其速度。这些量需要额外的几何信息或跨时间测量才能确定。YOLO 在实际系统中的作用,往往是快速提供初步的视觉判断,再由更大系统中的其他组件确定身份、距离、时序或行动。

局限性与持续研究

YOLO 检测器的表现仍然受输入中可用信息的制约。微小目标在下采样前可能仅占几个像素,在深层特征图中便可能与背景难以区分。遮挡会使部分可见线索丢失,而运动模糊、眩光、压缩伪影和光照不足则可能改变模型在训练中学到的模式。提高输入分辨率和采用图像分块可以在一定程度上改善小目标检测性能,但也会增加计算量,并可能产生边界效应,或导致跨图块的重复检测。

拥挤场景凸显了特征表示、分配策略与后处理之间的相互影响。多个目标可能争用相邻的预测位置,而严重重叠又可能使正确的检测结果看起来像重复检测。无锚框预测不再需要选择预定义的锚框形状,但并未消除“哪些空间位置应代表哪些目标”这一问题中的歧义。同样,移除非极大值抑制(NMS)只是让训练和匹配承担更多责任,并不意味着重复预测问题不再重要。

分布偏移是另一项核心局限。在日间道路场景上训练的检测器,到了夜间或其他地理环境中,可能表现不同。相机光学系统、视角、图像处理方式或类别定义的变化也会影响性能。这不同于通常所说的对训练样本的过拟合:模型可能在某个基准数据分布内具有良好的泛化能力,却仍会因实际运行条件不同而在部署后失效。

大多数传统 YOLO 模型采用封闭的类别集合。对于不熟悉的目标,模型可能将其忽略,也可能将其归入视觉上相似的已知类别。低分并不是判断目标是否属于未知类别的普遍可靠指标,高分也不能证明目标属于训练时采用的类别体系。开放词汇变体尝试将区域特征与源自语言的类别表示相联系,从而将目标检测与多模态学习结合起来。其表现不仅取决于检测器骨干网络,还取决于视觉—语言模型、提示词、训练类别和评估方案。

安全与隐私方面的顾虑既源于具体应用场景,也源于模型的技术局限。在某些条件下,刻意构造的视觉图案能够干扰经过训练的检测器,但其有效性取决于视角、打印效果、光照以及受测系统。即便检测器只输出边界框和类别标签,视频分析仍可能处理可识别身份的人员影像或敏感场所的画面。检测性能本身并不足以证明收集或保留原始影像是恰当的。

当前研究正在探索更好的监督信号分配策略、更高效的多尺度特征、更准确的置信度校准,以及时序信息、开放词汇识别和面向硬件的架构设计。基于 Transformer 的检测器提供了一条重要的替代路线,尤其体现在集合预测和通过学习实现的匹配方面;与此同时,一些 YOLO 变体也引入了注意力组件。因此,两者的界限越来越体现为架构上的差异,而非截然分明的类别之分:实时检测研究比较的是如何分配计算资源、如何将预测结果与目标关联,以及如何在时延和内存受限的条件下保持定位精度。