目标跟踪是一项计算任务,旨在根据一系列观测估计一个或多个目标随时间变化的状态。状态可包括位置、速度、大小、朝向、形状,以及在不同观测之间保持一致的身份标识。在计算机视觉中,观测通常来自视频,但跟踪也会使用雷达、激光雷达、深度传感器,以及多种传感系统的组合。跟踪器输出的是轨迹,而不只是对各个独立帧的描述。
跟踪不同于目标检测:后者在单次观测中定位目标,但不一定建立目标在不同时间点之间的对应关系。跟踪也不同于识别:维持“轨迹 17”这一标识,并不意味着知道某个人的姓名或某个目标在现实世界中的身份。这些区别对于生物显微成像、工业检测、交通分析、交互媒体和机器人导航等应用都十分重要。
核心难点在于观测并不完整,而且存在歧义。目标会被障碍物遮挡、改变外观、以难以预测的方式运动,也可能与其他目标相似;传感器则会带来噪声、失真和观测遗漏。跟踪系统通过运动预测、视觉表征、观测之间的关联,以及对不确定性的显式管理来应对这些困难。系统的设计取决于任务所涉及的是单个指定目标、数量未知的多个目标,还是对多个传感器观测的协同解读。
任务定义与表示方式
在单目标跟踪中,系统通常会获得某个特定目标在第一帧中的位置,此后必须持续跟踪该目标。目标可以用矩形边界框、分割掩码或一组点来指定。与常规的类别检测器不同,跟踪器可能需要跟踪训练时从未出现过的类别的物体。因此,纸箱、陌生的动物或机械设备上的某个特定区域,都可以成为跟踪目标。核心要求是持续跟踪指定的实例,而不是识别它所属的类别。
多目标跟踪同时估计多条轨迹。目标可能进入或离开视野,因此当前跟踪的轨迹数量会随时间变化。在特定类别跟踪中,系统跟踪行人或车辆等选定类别的实例。在类别无关跟踪中,可跟踪目标的范围则更为宽泛。多目标跟踪与分割将输出从边界框扩展为逐目标的掩码,使跟踪与实例分割紧密联系起来。点跟踪则跟踪选定的图像位置,这些位置不一定对应独立运动的物体。
表示方式既决定了保留哪些信息,也决定了会引入哪些歧义。二维轴对齐边界框较为紧凑,但会包含背景,也难以准确描述关节式物体或发生旋转的物体。旋转边界框增加了朝向信息;掩码则能更精确地描述目标在图像中的可见区域。三维跟踪可以用物体在世界坐标系或车辆坐标系中的中心位置、尺寸、朝向和速度来表示物体。跟踪人体关节位置需要采用结构化表示,其中各组成部分之间的关系由人体解剖学约束决定,而不能仅用单一的刚性边界框表示。
另一个区别在于生成估计结果时可利用哪些信息。在线跟踪器按时间顺序处理观测数据,不使用未来帧的信息。离线跟踪器则可以在查看整段记录后,修正先前建立的关联。固定滞后系统介于两者之间:它们将输出延迟一段有限的时间,以消除歧义。在线并不一定意味着实时。算法可以仅依赖当前及过去的信息运行,但处理一帧所需的时间仍可能超过相邻帧之间的时间间隔。
短期跟踪通常假设目标始终至少部分可见,并且可以根据相邻帧推断其位置。长期跟踪还必须检测目标何时消失,并在目标长时间消失后重新找回它。在这两种情形下,持续使用的轨迹标识符都只是算法对目标身份作出的假设。当两个外观无法区分的物体从不透明障碍物后方经过时,仅凭现有图像,可能无法确定它们再次出现后各自的身份。
状态估计与运动模型
跟踪可以表述为对隐含动态状态的推断。设 表示目标在时刻 的状态, 表示相应的观测。状态转移模型描述状态如何演化,观测模型则将状态与测量联系起来:
其中, 和 分别表示过程噪声和测量噪声。区分两者很重要:过程噪声表示实际运动对假定运动模型的偏离,而测量噪声表示传感器所报告结果的不确定性。
贝叶斯滤波交替执行预测与校正。预测步骤通过运动模型,将上一时刻的状态分布推算至当前时刻:
校正步骤通过新测量的似然将其纳入估计:
这一框架将有关运动的假设与有关感知的假设分开,也明确表明:遮挡期间预测出的位置,并不等同于实际观测到的位置。
卡尔曼滤波器由鲁道夫·E. 卡尔曼于1960年提出,为具有高斯不确定性的线性系统提供了递归求解方法。常见的图像平面状态包含边界框中心坐标、速度以及描述边界框大小的参数。在匀速模型下,预测位置在原有位置的基础上增加速度与经过时间的乘积。协方差矩阵在预测过程中增大,在获得有效测量后减小。卡尔曼增益通过权衡预测不确定性与测量不确定性,决定对估计进行校正的幅度。匀速是一种有用的局部近似,并不意味着目标永远不会加速。
对于非线性的观测几何关系或非高斯不确定性,则需要采用其他方法。扩展卡尔曼滤波器在当前估计附近对非线性函数进行线性化;无迹卡尔曼滤波器则传播一组选定的代表点。粒子滤波用带权样本表示不确定性,能够保留多个相互竞争的位置假设。迈克尔·伊萨德与安德鲁·布莱克于1998年发表的 CONDENSATION 研究,展示了这一方法在杂乱背景下进行视觉轮廓跟踪的应用。粒子方法可以对多峰不确定性建模,但当需要探索的状态维度较多时,其计算需求也会增加。
运动模型还会约束哪些测量是合理的。统计门控可以根据预测状态的协方差,剔除与预测状态偏离过大的检测结果,从而在开展计算代价更高的比较之前,排除不可能的关联。相机运动会使这一过程变得复杂,因为图像中的位移同时包含目标运动和视点变化的影响。一个在现实世界中静止站立的行人,在转弯车辆拍摄的图像中可能快速移动。因此,准确跟踪有赖于选择合适的坐标系,并区分目标行为的不确定性与观测平台的不确定性。
视觉外观与单目标跟踪
视觉跟踪器需要一种将目标与周围图像内容区分开来的方法。早期方法使用灰度模板、边缘、颜色直方图和局部特征。模板匹配会搜索与已存储样本相似的图像块,但直接比较像素容易受到光照变化、旋转、形变和局部遮挡的影响。基于直方图的方法能够容忍一定的形状变化,却丢失了空间布局信息:两个不同物体可能具有相似的颜色分布。这些取舍推动了兼顾局部结构与抗干扰能力的表征方法的发展。
光流估计相邻帧之间的图像运动,可用于推算目标点或目标区域在后续帧中的位置。1981 年提出的 Lucas–Kanade 方法在亮度近似恒定、运动足够小等假设下估计局部位移。跟踪物体内部的多个可靠特征,可能比匹配整个矩形图像块更加稳定。然而,特征可能消失,可能转移到背景上,也可能分别属于可变形物体的不同部位。光流提供的是局部对应关系的证据;它本身并不能确定一组点是否属于同一个持续存在的物体。
判别式跟踪器将定位表述为区分目标与邻近背景的问题。2010 年发表的 MOSSE 跟踪器推动了高效自适应相关滤波跟踪方法的确立。相关滤波器通过学习,使响应在目标位置附近达到峰值,而频域计算能够降低定位的计算开销。后续方法引入了更丰富的特征,并改进了对尺度和边界的处理。这类方法效率较高,因此适用于资源受限的硬件;不过,构造训练样本时所采用的假设可能引入背景伪影,并限制搜索范围。
深度学习通过从大量图像对和视频中学习表征,改变了外观匹配的方式。孪生网络跟踪器使用共享的特征提取器,将目标样本与搜索图像中的候选区域进行比较。2016 年提出的 SiamFC 采用了全卷积的相似度计算方式。后续系统加入了边界框回归、区域提议机制,或模板特征与搜索特征之间更复杂的交互。卷积神经网络是早期占主导地位的骨干网络,而后来的跟踪器则越来越多地采用 Transformer架构,在图像区域之间交换信息。
更新外观模型涉及稳定性与适应性之间的根本权衡。目标的姿态或光照发生变化后,固定模板可能失效。更新过于激进,则可能将遮挡物或背景区域纳入模型,导致漂移:跟踪器以很高的置信度跟随错误的内容,并通过后续更新不断强化这一错误。系统通过置信度阈值、多模板、保留不被更新覆盖的初始样本,以及相互独立的局部跟踪与全局恢复机制来应对这一问题。长期跟踪还需要明确设置目标缺失状态,因为如果每一帧都选择最佳候选,即使目标已不可见,系统仍会给出一个位置。
多目标跟踪与数据关联
在多目标跟踪中,核心的组合问题是数据关联:确定哪些观测对应哪些已有目标。广泛使用的基于检测的跟踪架构首先对每一帧运行检测器,再将检测结果沿时间轴关联起来。这将目标发现与时序推理分离,使跟踪器能够受益于 Faster R-CNN 或 YOLO目标检测模型等检测器的改进。但这也暴露出一种依赖关系:对于检测器持续漏检的目标,关联阶段很难可靠地维持其轨迹。
关联通常综合多种证据。预测的几何信息用于衡量检测结果是否位于预期位置附近。交并比用于衡量边界框的重叠程度。外观嵌入用于衡量视觉相似性,而类别标签、尺寸约束和场景几何信息则用于排除不合理的匹配。典型的成对代价为
其中,将轨迹 与检测结果 进行比较。各项的尺度需要相容,并须设置适当的门控条件;不能仅凭较高的外观相似度,就接受物理上不可能的运动。
对于相邻帧之间的匹配,匈牙利算法或相关的线性分配求解器可找出总代价最小的一一对应分配。实际系统还必须允许轨迹和检测结果处于未匹配状态。未匹配的检测结果可以用于建立暂定轨迹;若后续观测持续提供支持,该轨迹便可得到确认。未匹配的轨迹可以依靠运动预测暂时保留,之后再予以删除。确认阈值用于抑制短暂出现的误检,而删除阈值则决定系统能够容忍多长时间的观测缺失。这些策略会显著影响轨迹碎片化程度以及虚假轨迹的存续时间。
Alex Bewley 及其同事于 2016 年提出的 SORT 表明,将检测、卡尔曼滤波与基于边界框重叠的分配相结合,即使方法相对简单,也能取得良好效果。Nicolai Wojke 及其同事于 2017 年提出的 Deep SORT 加入了学习得到的外观信息,以改善遮挡情况下的关联。在行人应用中,这些描述子与行人重识别有关,不过,在单段视频内维持身份一致性与跨摄像头识别同一个人是不同的任务。2022 年发表的 ByteTrack 强调,应将置信度较低的检测结果与已有轨迹进行关联,而不是立即将它们全部丢弃。
贪心式局部匹配并非唯一途径。离线系统可以通过图连接短轨迹片段,并在更长的时间区间内优化关联。多假设跟踪会保留多种可能的解释,直到后续证据能够将它们区分开来,但这可能带来相当大的计算开销。联合概率数据关联则将支持程度分配给多个合理的关联。在拥挤场景中,这些方法处理的是同一种根本歧义:两个相邻的检测结果都可能是同一条轨迹的合理延续,而一次漏检就可能使一条正确的轨迹看起来不连续。
检测、表征与时序的联合学习
检测与跟踪之间的界限取决于架构设计,而非绝对的划分。检测器通常处理单幅图像以识别目标,跟踪器则引入时间上的连续性约束。联合模型在这两项任务之间共享特征或优化目标。这样既能减少重复计算,也能利用时序证据改善较弱的检测结果,但同时也会使错误相互牵连:针对类别识别优化的表征,可能会抑制区分同类两个目标所需的实例特有差异。
联合检测与嵌入系统通过共享网络输出目标位置和外观描述符。2021 年发表的 FairMOT 探讨了如何在统一的多目标跟踪器中平衡这些目标。其研究动机体现了一个更普遍的设计问题:目标定位与身份区分可能各自偏好不同的空间特征和训练信号。检测分支受益于对类内外观差异的不变性,而关联分支却必须保留这些细节。因此,共享计算并不意味着优化目标自然相容。
另一些模型则直接在帧间传递信息。2020 年发表的 CenterTrack 利用连续图像和先前的检测信息,将目标中心检测与位移估计结合起来。这种建模方式将关联纳入网络预测,而不再仅仅依赖单独计算的运动模型。当位移较小且目标持续可见时,这种方法尤其适用;但面对相机突然运动、较长的观测间隔以及大幅位移,仍然需要足够的空间上下文或额外的恢复机制。
基于 Transformer 的系统使用注意力机制,在目标表征与图像特征之间交换信息。随着检测Transformer的发展,一些跟踪器开始维护持久的轨迹查询,以携带先前观测到的目标信息。2021 年发表的 TrackFormer 和 2022 年发表的 MOTR 就是这一方向的例子。查询可以编码跨时间的身份信息,并从后续帧中提取证据,同时由额外的查询发现新目标。这类模型在训练时仍可能使用显式分配,因此,端到端的预测架构并不一定会从学习过程中消除对应关系的优化。
训练时序表征,不能只是向模型提供彼此无关的静态图像。视频监督可以指明哪些实例在帧间持续存在,从而支持对身份敏感的训练目标,以及针对运动或轨迹连续性的损失函数。对比学习可以促使同一目标的不同观测具有相似表征,同时拉开不同目标之间的表征距离。然而,仅凭外观并不总能区分视觉上完全相同的实例。更长的时序记忆也有代价:存储大量图像特征会增加内存占用,而无关的历史证据可能干扰当前定位。因此,实用架构往往会限制记忆容量、对过去的观测进行汇总,或根据可见性和置信度选择参考帧,而不是不加区别地保留每一帧。
三维、多传感器与多摄像机跟踪
二维图像坐标有助于视频分析,但不能直接描述物理运动。图像中向下移动的边界框,可能意味着车辆正在接近、摄像机发生俯仰转动,或场景中的物体正在下降。三维跟踪在具有实际尺度的坐标系中估计目标的位置,通常也估计其朝向。摄像机标定提供场景点与图像测量值之间的几何关系,涵盖焦距等参数、镜头畸变,以及在信息可用时摄像机相对于参考坐标系的位置和朝向。
不同传感器提供不同类型的观测依据。摄像机能够提供丰富的外观和类别信息,但仅凭单幅图像无法唯一确定深度。激光雷达沿采样方向测量距离,可支持三维定位,但点云密度会随距离和传感配置而变化。雷达能够测量距离,并利用多普勒信息测量径向速度;在某些不利于光学成像的条件下,它仍能工作。雷达测量也存在自身的模糊性和分辨率限制,不能直接替代细致的视觉外观信息。
传感器融合可以在检测前、特征层面,或各传感器生成目标或轨迹之后进行。早期融合力求利用互补的原始观测信息,但需要仔细对齐不同的数据表示。后期融合则结合检测结果或轨迹估计,并可保留系统的模块化特性。无论采用哪种方式,时间戳和坐标变换都是基础。摄像机和激光雷达若在略有差异的时刻观测同一辆行驶中的车辆,即使各自测量都准确,也可能得出看似不一致的位置。不确定性不仅要涵盖检测器的置信度,还必须包括标定和同步误差。
从移动平台上进行跟踪,还需要估计平台自身的运动。同时定位与地图构建估计传感器运动和环境结构,而目标跟踪估计场景中各实体随时间变化的状态。这两项任务相互影响:移动物体可能破坏地图静态不变的假设,而不准确的平台运动估计可能导致虚假的目标速度。系统可以先补偿估计出的自身运动,再对剩余运动建模;也可以联合估计静态结构、摄像机位姿和动态目标。
多摄像机跟踪还需要建立不同视角之间的对应关系。当摄像机视野重叠时,标定后的几何关系和同步观测可以支持跨视角匹配。对于视野不重叠的摄像机,关联则更依赖外观、合理的通行时间以及场景拓扑。相似的衣着、光照差异和较长的观测间隔,都会使这类关联存在不确定性。此外,还必须区分跟踪身份的连续性与真实的个人身份:将两段匿名轨迹关联起来,并不需要确定这个人的姓名。根据应用不同,输出可以是各摄像机内的局部轨迹、统一地平面坐标系中的轨迹,或在没有观测的时段明确保留空缺的跨摄像机序列。
训练数据、基准与泛化
跟踪数据集不仅提供图像,还提供时序标注。单目标数据集通常会在每一帧中标明指定目标,有时还会标注遮挡、尺度变化或相机运动等属性。多目标数据集则提供逐帧位置和跨帧保持一致的实例标识符。三维数据集还包含坐标系、标定信息,以及三维包围框或点标注。标注规范决定了跟踪器需要推断什么;标注的是目标的可见范围,还是估计的完整目标范围,会对训练目标和评估结果产生实质性影响。
OTB 评测于 2013 年推出,并于 2015 年扩充,推动了针对常见视觉难点的单目标跟踪对比评测的标准化。始于 2013 年的视觉目标跟踪挑战赛制定了注重准确性和跟踪失败表现的评测规程。2019 年发布的 GOT-10k 强调广泛的物体多样性,并采用一次性评估规程,旨在检验跟踪器向训练集中未出现的物体类别迁移的能力。LaSOT 和 TrackingNet 提供了更大规模的视频资源,推动了跟踪器向数据密集型学习方法转变。这些基准在序列长度、类别覆盖范围、标注密度和评估规则方面各不相同。
在多目标跟踪方面,MOTChallenge 基准系列规范了行人跟踪任务及其评估。MOT17 为同一批序列提供多组公开的检测器输出,而 MOT20 则侧重于拥挤的行人场景。这类数据集使研究者能够衡量遮挡和近距离交互条件下的身份连续性。KITTI、nuScenes 和 Waymo Open Dataset 等自动驾驶数据资源,将评估范围拓展到了移动平台和三维环境。在行人视频上取得优异成绩,并不能直接证明跟踪器具备从稀疏点云中跟踪车辆的能力。
数据集构建会带来多种偏差。常见物体类别获得的训练样本比稀有类别更多;城市白天的录像也无法代表所有天气条件或光照环境。在完全遮挡期间,身份标注可能存在不确定性,而难以判定的物体可能会依据各数据集的具体规则被忽略。如果训练集和评估集中出现相同帧或近乎重复的序列,测得的性能就可能高估模型的泛化能力。防止数据泄漏(机器学习),需要在适合任务的层级上划分数据,例如按源视频、场景、主体或录制批次划分,而不是按孤立的帧划分。
数据增强可以模拟尺度变化、模糊、颜色变化、遮挡和观测缺失。合成序列能够提供精确的运动与身份标签,但其外观和动态特征可能与真实录像不同。自监督学习无需详尽的人工身份标注即可利用时间一致性,但其推断出的对应关系本身也可能有误。因此,在分布偏移条件下开展评估十分重要:模型可能在熟悉的基准上表现良好,却在帧率发生变化、出现新的相机视角,或目标群体的视觉特征有所不同时失效。
评估指标与实验规程
跟踪评估衡量多个不同方面:定位、检测覆盖率、身份连续性、失效恢复能力以及计算成本。没有任何单一分数能够全面反映所有这些方面。跟踪器可能给出准确的边界框,却反复更改目标标识;也可能保持标识不变,却漏掉许多目标。评估规程的细节同样重要。跟踪器是否在失效后重新启动、是否允许使用后续帧,以及是否提供检测器输出,都会改变所报告结果的含义。
单目标跟踪通常采用基于中心误差的精确率和基于重叠度的成功率。中心误差精确率衡量的是:预测目标中心与参考中心之间的距离不超过指定阈值的帧所占的比例。以像素为单位的阈值受图像分辨率和目标尺度影响,因此也出现了归一化的替代指标。成功率评估衡量预测区域与参考区域的重叠度超过指定阈值的帧所占的比例;对不同阈值下的结果取平均,可得到成功率曲线得分。如果跟踪器始终预测一个过大的边界框,其中心位置可能仍然正确,但重叠度却很低,这说明仅衡量中心位置的准确性并不充分。
多目标跟踪准确率(Multiple Object Tracking Accuracy,MOTA)综合考虑漏检、误检和身份切换:
其中, 是所有帧中参考目标实例的总数。当统计到的错误数超过这一总数时,MOTA 可以为负值。由于漏检和误检在数量上往往占主导地位,较高的 MOTA 并不一定意味着良好的身份连续性。多目标跟踪精度(Multiple Object Tracking Precision)以往在 CLEAR MOT 框架中与 MOTA 配合使用,按照基准所选定的距离度量方式,衡量匹配预测的定位质量。
基于身份的指标关注一条轨迹能否始终对应正确的参考身份。IDF1 是身份精确率与身份召回率的调和平均值,在预测轨迹与参考轨迹之间进行考虑身份的匹配后计算。HOTA 在 2021 年发表的研究中提出,兼顾检测与关联。在定位阈值 下,其核心形式为
并对不同定位阈值下的结果进行汇总。DetA 衡量检测准确性,AssA 则衡量匹配检测的关联准确性。将各分量分开考察,有助于区分改进究竟来自检测器,还是来自跨帧身份处理能力的真正提升。
运行速度的比较也需要同样谨慎。每秒处理帧数取决于硬件、输入分辨率、目标数量、是否计入检测器耗时,以及是否采用批处理。吞吐量不等于延迟:一个能够高效处理批量数据的系统,仍可能因每个结果交付过晚而无法满足交互式应用的需要。实验报告应将网络执行与图像解码、传感器数据传输、关联及输出处理的耗时区分开来。对实际运行系统的评估还可以衡量轨迹建立延迟、遮挡后的恢复时间以及不确定性估计质量,因为综合性的基准分数并不能充分反映这些特性。
部署约束、应用与局限
实际的跟踪系统通常是更大决策流程中的一环。在工业检测中,轨迹可以将同一物品在不同生产阶段的观测结果关联起来。在显微成像中,细胞和粒子的轨迹有助于测量其运动、分裂和相互作用。体育分析利用运动员和球的轨迹描述运动模式,而影视制作和增强显示则利用跟踪到的点或物体,使图形在运动场景中始终附着于正确的位置。不同应用场景对表示方式和误差的容许程度各不相同:临时的身份标识互换对于汇总交通流量而言或许可以接受,却可能破坏单个细胞谱系的重建。
资源约束会影响系统架构。系统可以降低检测器的运行频率,在其间的帧中使用开销更低的运动或外观跟踪器。这能减少计算量,但也会使系统更难应对场景的突变。使用图形处理器进行处理可以提高吞吐量,但数据传输开销和资源共享时的工作负载会影响端到端延迟。神经网络量化通过降低数值精度来减少存储或计算开销,但它对定位和关联的影响必须通过测量来评估,而不能凭空假定。目标数量的变化也会导致关联和内存开销随之变化,在密集场景中尤其如此。
置信度并不容易解读。检测器评分、外观相似度和状态协方差衡量的是不同的事物,不应将它们视为可以互换的概率。一条轨迹在其运动模型下的预测位置可能具有很高的确定性,却被错误地归到了另一个实际物体上。因此,系统会区分测量置信度、定位不确定性、关联歧义,以及目标仍然存在的概率。在长时间遮挡期间,返回不确定或目标缺失的结果,可能比无限期地外推一条精确轨迹更忠于现有证据。
对人员和车辆进行跟踪会引发数据隐私问题,因为即使没有明确的姓名,轨迹也可能暴露日常活动规律、人际关系以及对敏感地点的访问情况。跨摄像头关联会扩大可重建的行为范围。移除明显的个人标识符,并不一定能使详细的移动记录匿名化。这些考量既涉及跟踪算法,也涉及数据的整个生命周期:采集范围、留存、访问、关联,以及汇总测量结果与持续保存的个体记录之间的区别,都会影响部署后的系统包含哪些信息。
有些局限源于观测本身。完全遮挡会使视觉证据消失;外观相同的物体可能交换位置,而仅凭录像无法辨明;采样率过低则可能使多条轨迹同样合理。更强大的模型或许能够利用有价值的上下文规律,但无法将未观测到的事件转化为直接测量。因此,在技术上有意义的输出可以包括相互竞争的假设、明确表达的不确定性,以及不对目标对应关系作出断言的时段。在科研和实际运行中,保留这种区别,可以避免将看似连续的轨迹误认为经过完整观测的历史。