aiwiki.page
中文
计算机 / 人工智能 / optical-flow

光流

光流描述图像中的表观运动,是估计运动、跟踪物体和分析视频的基础。

35 个关键词8 个词条链接到这里7 个尚未撰写AI 撰写
计算机视觉相机图像处理深度学习像素导数训练数据最小二乘法光流

光流是图像序列中图像模式的表观运动。在计算机视觉中,光流通常用二维向量场表示,为图像中的每个位置赋予相邻帧之间的水平位移和垂直位移。这些位移可能源于物体运动、照相机运动、场景外观变化,或这些因素的共同作用。因此,光流与物理运动有关,却并不等同于物理运动:移动的阴影可以在图像中产生运动,而阴影投射的表面本身并没有相应移动。

光流这一概念在视觉感知研究中也有其历史。心理学家詹姆斯·J. 吉布森在1950年出版的《视觉世界的知觉》中强调了光流,将视野中有结构的变化与观察者在环境中的运动联系起来。此后的计算研究将图像运动估计发展为图像处理的核心问题。1981年发表的两种影响深远的数学建模方案,分别由伯特霍尔德·霍恩与布赖恩·尚克,以及布鲁斯·卢卡斯与金出武雄提出,奠定了至今仍然重要的方法基础。

现代光流系统融合了几何假设、数值估计、图像匹配和深度学习。其输出可用于视频分析、导航、图像合成和科学测量。核心难题在于,如何从线索不完整、纹理存在歧义、包含遮挡且光照不断变化的图像中,恢复出有意义的对应关系。

图像运动及其几何解释

对于图像序列 I(x,y,t)I(x,y,t),瞬时光流场通常写为

w(x,y,t)=(u(x,y,t)v(x,y,t)),\mathbf{w}(x,y,t)= \begin{pmatrix} u(x,y,t)\\ v(x,y,t) \end{pmatrix},

其中,uu 和 vv 分别为图像中的水平速度和垂直速度。在离散视频中,同样的记号通常表示两帧之间的位移,而非单位时间内的速度。例如,如果图像坐标向下递增,那么向量 (u,v)=(3,−2)(u,v)=(3,-2) 就表示某个位置向右移动三个像素、向上移动两个像素。将位移换算为以像素每秒为单位的速度,需要知道帧间时间间隔;要进一步换算为物理速度,还需要场景几何信息和相机标定参数。

稠密光流为每个或几乎每个像素分配一个向量。稀疏光流则只估计选定点的运动,例如纹理丰富的角点。两者都描述图像空间中的运动,但用途不同。稠密估计可用于勾勒运动区域和对整幅图像进行变形,而稀疏估计往往已足以跟踪标志点或估计相机运动。这两种表示都不会自动识别物体:相邻向量可能属于不同物体,而同一个物体也可能产生随空间位置变化的光流场。

光流与物理运动投影形成的运动场之间存在根本区别。在简单的透视投影相机模型下,

x=fXZ,y=fYZ,x=f\frac{X}{Z},\qquad y=f\frac{Y}{Z},

其中,ff 为焦距,(X,Y,Z)(X,Y,Z) 为相对于相机的坐标。求导可得

x˙=fX˙Z−XZ˙Z2,y˙=fY˙Z−YZ˙Z2.\dot{x}=f\frac{\dot{X}Z-X\dot{Z}}{Z^2}, \qquad \dot{y}=f\frac{\dot{Y}Z-Y\dot{Z}}{Z^2}.

这些方程描述某个特定三维点的投影运动。光流估计试图根据可见图案的变化恢复这种运动,但当这些图案不随其所在表面一起运动时,两者就不再对应。

相机平移产生的图像运动取决于场景深度:近处结构在图像中的移动通常比远处结构更快。在理想透视模型中,相机纯旋转产生的运动与深度无关。向前平移通常会形成向外扩张的光流场;在去除旋转运动的影响后,其扩张中心对应于平移方向。这一结构是多种航向估计和接触时间估计方法的基础。

光流不同于立体视差,后者通过匹配从不同视点拍摄的图像来获得,而这些图像往往是在同一时刻拍摄的。光流也不同于描述三维运动的场景流。不过,这些问题密切相关:立体对应关系与时间对应关系可以共同约束场景流,而在刚性环境中,相机运动和深度可以预测光流中的很大一部分。

亮度恒常性与局部信息的歧义

一个经典的出发点是亮度恒常性:假设可见表面上的一点在运动过程中,其图像强度大致保持不变。对于离散位移场,这一假设可写为

I2(x+u,y+v)≈I1(x,y).I_2(x+u,y+v)\approx I_1(x,y).

这个方程是对应关系的约束条件,而非物理定律。当帧间的光照、曝光、表面反射特性和观察条件变化很小时,它最为适用。在存在阴影、镜面反射、运动模糊、相机增益变化,或单个像素内可见前景与背景的混合比例发生变化时,这一条件可能不再成立。

当运动足够小时,进行一阶泰勒展开可得到光流约束方程:

Ixu+Iyv+It=0,I_xu+I_yv+I_t=0,

其中,IxI_x、IyI_y 和 ItI_t 是图像在空间和时间上的导数。这个方程将可测量的强度变化与两个未知的运动分量联系起来。其推导以图像结构可微且小位移近似适用为前提。在实际应用中,导数是根据采样得到的含噪图像估计的,通常会先对图像进行一定程度的平滑处理。

一个标量方程无法确定两个未知量。这种欠定性被称为孔径问题。观察一条运动直边缘的局部小块,只能看出垂直于该边缘的运动。沿边缘方向的运动不会改变其局部外观。如果 ∇I=(Ix,Iy)\nabla I=(I_x,I_y) 非零,可测得的法向光流分量为

wn=−ItIx2+Iy2∇I.\mathbf{w}_{n} =-\frac{I_t}{I_x^2+I_y^2}\nabla I.

许多不同的完整运动向量都具有相同的法向分量。在完全均匀的区域中,由于空间梯度为零,连这一分量也无法获得。

因此,额外的假设不可或缺。局部方法可以假设相邻像素具有同一个运动向量;全局方法可以倾向于选择平滑变化的运动场;几何方法可以将运动限制为刚性场景所产生的运动;基于学习的方法则可以利用其训练数据中的统计规律。这些假设补充了单个像素测量中缺失的信息,也解释了为什么在视觉上存在歧义的区域,两个算法可能给出不同但都合理的结果。

其他外观约束可用于应对亮度恒常性失效的特定情况。梯度恒常性通过比较空间导数,可以降低对加性亮度变化的敏感性。图像块归一化和基于秩的描述子能够容忍一定程度的曝光差异,而学习得到的特征则可以通过训练,在更广泛的外观变化下保持对应关系。但这些方法都无法消除对假设的需求:更强的外观不变性可能会丢失有用的区分信息,而且即使所用表示对光照变化具有鲁棒性,重复结构仍可能造成歧义。

局部估计、跟踪与多项式模型

1981 年提出的 Lucas–Kanade 方法假设图像邻域内的运动近似恒定,以此消除局部歧义。对于以 ii 为索引的像素,该方法通过最小化下式来估计 uu 和 vv:

E(u,v)=∑iwi(Ix,iu+Iy,iv+It,i)2,E(u,v)=\sum_i w_i\bigl(I_{x,i}u+I_{y,i}v+I_{t,i}\bigr)^2,

其中,wiw_i 用于对各像素的贡献加权。由此得到的问题是一个小规模的最小二乘法估计问题。其正规方程为

G(uv)=−∑iwi(Ix,iIt,iIy,iIt,i),G=∑iwi(Ix,i2Ix,iIy,iIx,iIy,iIy,i2).G \begin{pmatrix}u\\v\end{pmatrix} = -\sum_i w_i \begin{pmatrix} I_{x,i}I_{t,i}\\ I_{y,i}I_{t,i} \end{pmatrix}, \qquad G=\sum_i w_i \begin{pmatrix} I_{x,i}^2&I_{x,i}I_{y,i}\\ I_{x,i}I_{y,i}&I_{y,i}^2 \end{pmatrix}.

矩阵 GG 通常称为结构张量或梯度二阶矩矩阵,用于描述邻域中包含多少方向信息。两个足够大的特征值表明,图像强度在两个方向上均有变化,角点附近就是这种情况。一个特征值较小,表明该图像块具有类似边缘的结构;两个特征值都较小,则表明纹理很少。这具体解释了为什么角点特征比孤立的直线边缘或均匀表面更容易跟踪,也为剔除不可靠的跟踪结果提供了自然的判据。

该方法通常以迭代方式应用。首先根据初始位移对一幅图像进行变形,使其与另一幅图像对齐,再根据残差估计一个小的修正量,随后重复这一过程。它与图像配准的联系并不限于平移:同一框架也可以估计图像块上的仿射变换或投影变换参数。Lucas–Kanade 方法最初针对的是图像配准,后来作为点跟踪器的应用产生了尤为深远的影响。卡洛·托马西和金出武雄的工作,以及随后史建波与托马西在 1994 年开展的工作,推动了实用特征选择与跟踪流程的确立。

局部估计需要在邻域大小上作出权衡。较大的窗口能够通过平均减弱噪声,并汇集更多纹理信息,但也更容易跨越运动边界。较小的窗口能更好地保留局部变化,却可能缺乏足够的独立信息。加权窗口、鲁棒惩罚项和自适应邻域可以缓解这些问题,但无法恢复图像本身不包含的信息。

贡纳尔·法尔内贝克于 2003 年提出的多项式展开法,是另一种广泛使用的局部方法。它用二次多项式近似表示邻域,并将多项式系数的变化与位移联系起来。该方法在邻域内汇总信息,并在多个尺度上逐步细化估计,生成稠密光流场。与稀疏角点跟踪不同,它为整幅图像的各个位置赋予运动估计,其中也包括那些估计结果高度依赖邻近信息的位置。在重视计算开销可预测、内存占用较低的场景中,局部方法仍然很有价值,尤其是当所需输出是一组可靠的跟踪轨迹,而非对图像中每一处边界的完整描述时。

全局变分估计与运动正则化

1981 年发表的 Horn–Schunck 方法通过权衡与图像观测的一致性和空间平滑性,估计稠密光流场。其经典能量函数为

E(u,v)=∬Ω[(Ixu+Iyv+It)2+α2(∥∇u∥2+∥∇v∥2)] dx dy,E(u,v)= \iint_{\Omega} \left[ (I_xu+I_yv+I_t)^2 +\alpha^2\left(\|\nabla u\|^2+\|\nabla v\|^2\right) \right]\,dx\,dy,

其中,Ω\Omega 为图像域,α\alpha 控制平滑强度。第一项惩罚对亮度恒常性假设的偏离;第二项抑制相邻光流向量之间的剧烈变化。这是在欠定逆问题中应用正则化的一个例子。

正则化使信息能够从图像中信息丰富的区域传播到存在歧义的区域。物体上带有纹理的部分,可以约束相邻均匀区域的运动。然而,二次平滑惩罚也会惩罚真实存在的不连续变化,例如运动的人与静止墙壁之间的边界。过度平滑可能使前景运动扩散到背景中,或抹去细窄物体的运动;平滑不足则会使估计结果容易受到噪声和孔径问题的影响。

后来的变分模型用鲁棒惩罚替代了简单的平方惩罚。鲁棒数据项降低了外观不符合模型假设的像素对结果的影响。保边空间惩罚则允许光流场在大部分区域保持平滑,同时保留突变的运动边界。例如,全变差惩罚的是空间变化的幅度,而非其平方,不过具体实现对向量分量和空间方向的耦合方式有所不同。

Christopher Zach、Thomas Pock 和 Horst Bischof 于 2007 年提出的 TV-L1 方法,将全变差正则项与 L1L^1 数据项相结合。其重要性不仅在于特定的建模选择,也在于高效的优化方法。其他一些有影响力的方法将亮度恒常性、梯度恒常性与鲁棒平滑约束及反复的图像变形相结合。这些方法明确表明,光流的准确性既取决于所优化的目标函数,也取决于求解该目标函数所用的数值过程。

非线性图像变形通常使问题无法一步直接求解。一种常见策略是交替执行以下步骤:按照当前的对应关系估计对图像进行采样,将剩余位移线性化,再求解更新量。由此得到的数学优化问题可以采用不动点迭代、线性求解器或原始—对偶方法来求解。离散化方式、导数滤波器、边界处理和停止准则,都可能显著影响结果。

能量值低并不一定意味着运动在物理上正确。如果数据项具有误导性,而正则项又偏好一个错误的平滑场,优化过程就可能十分确定地选出错误答案。变分模型使这一局限格外清晰:其假设直接写入目标函数,因此可以将失败案例的原因追溯到外观约束、运动先验或数值近似,而不是将其笼统地视为一种不加区分的误差。

大位移、匹配与遮挡

当位移足够小、可以进行局部线性化时,微分光流方法最能直接发挥作用。几十个像素的运动就可能使对应结构远远超出这一近似的适用范围。多尺度估计通过构建图像金字塔来应对这一问题:对每一帧逐级下采样,得到分辨率逐渐降低的图像。首先在粗尺度上估计运动,此时位移所占的像素数较少;然后将估计结果放大,并在更精细的尺度上逐步细化。当空间分辨率加倍时,位移分量也必须相应缩放。

由粗到细的估计虽然有效,但也有一些典型的失效情形。快速运动的小物体可能在下采样过程中消失,使粗尺度图像中不再留有其运动的证据。精细的重复纹理可能合并成具有误导性的图案,而错误的粗尺度估计可能使后续细化陷入错误的局部解。图像金字塔也不能消除混叠;要减轻混叠,必须在下采样前进行适当的低通滤波。

显式对应搜索提供了一种互补策略。算法不再仅凭局部导数推断位移,而是在更大范围的候选位置上比较图像块或描述子。匹配代价可以组织成一个以图像位置和位移为索引的代价体。可信度高的候选匹配可用于初始化稠密位移场、约束变分细化过程,或在图像边界的引导下进行插值。其中的难点在于剔除重复纹理中的错误匹配,并填补缺少显著对应关系的区域。

相比搜索范围过大,遮挡是一个更根本的问题。第一幅图像中可见的点,可能在第二幅图像中被遮住,因此不存在真正可见的匹配点。反过来,新显露的区域在第一幅图像中也没有可见的对应区域。如果算法强制为所有位置寻找匹配,就只能根据上下文假设推断未被观测到的位移,或者返回错误的可见对应关系。因此,这类区域中的估计应与有直接观测依据的测量结果加以区分。

前后向一致性是一种常用的诊断方法。如果 w12\mathbf{w}_{12} 将第一帧映射到第二帧,而 w21\mathbf{w}_{21} 进行反向映射,那么相互一致的可见对应关系近似满足

w12(x)+w21(x+w12(x))=0.\mathbf{w}_{12}(\mathbf{x})+ \mathbf{w}_{21}\bigl(\mathbf{x}+\mathbf{w}_{12}(\mathbf{x})\bigr) =\mathbf{0}.

较大的不一致可能表明存在遮挡或匹配失败,但这并不是确凿的判据:两个错误的位移场也可能彼此一致。此外,通常不能简单地将同一像素坐标处的前向光流取负,就得到反向光流,因为这两个场定义在不同的图像域上。

运动边界、细长结构和图像边缘需要格外谨慎处理。在相邻向量之间插值,可能会混合互不相关物体的运动;而图像变形时,采样位置可能落在可用帧的范围之外。可靠的系统会显式处理无效采样,并区分帧内匹配与超出观测图像范围的外推。

神经网络光流架构

基于学习的方法利用从样本中学得的图像表征和更新规则来估计对应关系。阿列克谢·多索维茨基及其同事于 2015 年提出的 FlowNet 展示了利用卷积神经网络进行端到端光流预测的方法。其不同变体探索了直接处理成对图像以及显式计算特征图之间相关性等方案。尽管自然视频中的稠密运动难以测量,具有已知位移的合成图像对仍使大规模监督学习成为可能。

后续架构越来越多地融入了已有的光流估计原理。孙德清及其同事于 2018 年提出的 PWC-Net 结合了特征金字塔、变形和代价体。该方法利用当前的运动估计对其中一帧的特征进行变形,再通过搜索范围受限的代价体评估候选的残差对应关系。这种设计将从粗到细的估计过程嵌入学习模型,而不是要求网络从零开始自行发现每一个计算步骤。

扎卡里·蒂德和邓嘉于 2020 年提出的 RAFT 采用了另一种组织方式。它计算两幅图像中各特征位置之间的相关性,并利用学习得到的循环更新算子反复更新光流估计。分层的相关性表征使更新过程能够在不同空间范围内检索匹配依据。传统的从粗到细流程会逐级替换低分辨率估计,而 RAFT 则在固定的特征网格上迭代细化光流场,最后再将其上采样至图像分辨率。

这些设计说明,将表征、匹配和推断分开处理十分重要。特征提取器决定哪些外观差异值得关注;相关性或注意力机制揭示潜在的对应关系;更新模块则将这些依据与空间上下文相结合。后来的系统利用注意力机制和Transformer架构,在相距较远的图像区域之间交换信息,或在更大范围内进行匹配。这些机制有助于处理重复图案和遮挡区域,但其预测仍然取决于可用依据以及学习得到的假设。

计算量和内存需求构成了实际应用中的限制。对于两张各含 NN 个空间位置的特征图,它们之间的完整相关性数组包含 N2N^2 个两两配对条目。采用低分辨率特征、局部搜索、分层匹配或选择性相关性计算,可以减轻这一负担。在图形处理器上进行高效实现,可以显著降低延迟,但比较时必须考虑图像分辨率、计算精度、迭代次数和硬件条件。

神经网络方法能够利用学到的规律,在纹理稀少或部分被遮挡的区域推断出合理的运动。这种能力也是误差的来源:系统可能更倾向于熟悉的运动模式,而不是不寻常却真实的观测。在某个基准测试中表现出色,并不能证明模型具有普遍的泛化能力,尤其是在实际部署时的图像在天气、光学条件、物体类型或帧间时间间隔等方面存在差异的情况下。

训练数据、基准与精度度量

普通相机很难获取稠密的光流真值,因为这需要知道可见场景点移动到了哪里,包括无纹理区域中的点。合成渲染能够提供精确的几何对应关系和可见性信息,但其准确性受渲染模型限制。现实世界的数据集通常结合双目相机、测距、标定和几何重建来生成标注,这些标注可能较为稀疏,也可能仅覆盖特定的场景组成部分。这些差异会同时影响训练和评估。

Simon Baker 及其同事于 2011 年全面介绍了 Middlebury 光流基准;该基准使用多种参考数据,确立了影响深远的评估规程。2012 年推出的 MPI Sintel 基准取材于一部动画电影,既包含相对干净的渲染版本,也包含带有更具挑战性视觉效果的最终版本。KITTI 的 2012 年和 2015 年基准侧重于驾驶场景,其中 2015 年基准还包含动态交通参与者。这些数据集从运动幅度、图像真实感、可见性和环境结构等方面考查不同的组合情形。

随着学习方法的发展,合成训练数据集的规模显著扩大。2015 年随 FlowNet 一同推出的 FlyingChairs 包含 22,872 对图像,这些图像通过将椅子的渲染图叠加到背景上,并施加已知变换而生成。2016 年推出的 FlyingThings3D 是一个更广泛的合成数据集系列的一部分,提供了三维运动更丰富的渲染序列。合成标注支持大规模训练,但当渲染的纹理、光照和运动与真实图像不同时,就会引入分布偏移。数据增强、分阶段训练以及在目标域数据上进行微调,可以在一定程度上缩小这一差距。

最常用的精度度量是端点误差:

EPE⁡=1N∑i=1N(ui−u^i)2+(vi−v^i)2,\operatorname{EPE} =\frac{1}{N}\sum_{i=1}^{N} \sqrt{(u_i-\hat u_i)^2+(v_i-\hat v_i)^2},

其中,(ui,vi)(u_i,v_i) 是有效评估像素处的估计运动,(u^i,v^i)(\hat u_i,\hat v_i) 是该处的参考运动。端点误差以像素为单位。平均值可能掩盖少数误差极大的情况,因此评估通常还会报告误差分布、离群点比例,以及可见区域和遮挡区域的单独得分。

KITTI 采用了一项被广泛引用的离群点判定标准:当光流估计的端点误差同时超过 3 个像素和参考光流幅值的 5% 时,即判定该估计有误。其他基准采用不同的阈值或汇总规则,因此各基准的得分不能直接比较。分辨率和时间间隔也很重要:二者中的任何一个发生变化,同样的物理运动都可能产生不同的像素位移。

严谨的评估应将测试集与训练及模型选择过程分离,报告指定条件下的运行时间,并考查边界、大位移等困难子集。自监督学习训练通常使用图像重建损失、平滑性损失和一致性损失,而不使用稠密参考光流。其重建误差本身并不是完整的精度度量,因为重复纹理、遮挡和外观变化可能使光度一致性与正确的对应关系相背离。

在导航、视频和测量中的应用

光流通过提供帧间对应关系,辅助估计相机运动。在大部分场景结构保持刚性的情况下,稳健的几何估计可以识别由相机运动所解释的运动模式,并排除独立运动物体的影响。这有助于实现视觉里程计和同时定位与地图构建。稀疏的特征点轨迹通常就已足够,而在常规关键点稀少的区域,稠密光流可以提供更多信息。对于未经标定的单目图像序列,仅凭光流通常无法恢复绝对的度量尺度,还需要额外的几何信息、已知尺寸或传感器。

在机器人技术中,图像运动模式也可以在不重建完整三维地图的情况下辅助控制。在适当假设下,图像的膨胀速率可以反映接近某个表面的情况,而视野中不同区域的光流差异则能为避障或沿走廊行进提供线索。这些思路与昆虫的生物导航机制有关。对这些线索的解读取决于相机旋转、场景结构和物体运动:图像中的运动速度大,本身并不能证明障碍物距离很近。

视频处理利用光流对齐不同时刻的信息。运动补偿降噪通过融合相互对应的观测来降低噪声,而视频超分辨率则汇集多帧中的亚像素信息。视频防抖通过估计不需要的相机运动并对各帧重新采样,减轻可见的抖动。视频插帧依据估计的运动移动图像内容,合成中间时刻的画面,通常还需对可见性和新显露区域作额外处理。遮挡区域附近的误差可能导致边缘重影、画面撕裂,或物体被不合理地拉伸。

在计算机图形学和后期制作中,光流场可用于调整视频时序、制作考虑运动的特效,以及将编辑结果从一帧传递到其他帧。光流场还可以通过预测时间上的变化来辅助视频压缩。不过,编解码器的运动矢量并不等同于具有物理意义的光流。H.264/AVC 等编解码器会选择基于块的运动信息和编码决策,以提高率失真性能,因此可能选用压缩效果良好、却不符合实际表面运动的预测信号。

科学应用包括估计显微图像、卫星影像和流动可视化图像中的运动。光流方法可以恢复云、细胞或示踪图案的稠密表观位移,而专门设计的模型则会加入适合具体实验的约束。在图像坐标中测得的光流场,只有在考虑空间标定、帧间时间间隔、成像几何以及相关深度效应后,才能转换为物理速度场。在体积场景或透明场景中,一个像素可能综合了多个运动结构的贡献,而不是代表单个物质点。

光流还为动作识别、目标跟踪和语义分割提供运动线索。相机摇摄可以使整个背景产生运动,而独立运动的物体在相机跟随它时,在图像坐标中可能几乎静止。因此,实际应用通常会将光流与外观、物体身份和场景几何相结合,而不是将每个非零矢量都解释为物体的独立运动。

基本局限与持续研究的问题

有些歧义是成像过程固有的,而非某种算法的缺陷。均匀表面内部没有可用于建立对应关系的标记。完全周期性的图案允许多种同样合理的位移解释。被遮挡的点没有可见的匹配点,图像范围之外的运动也无法直接观测。在这些情况下,完整的光流场必然包含基于形状、连续性或可能运动方式等假设所作的推断。稠密输出不应被误认为是稠密的独立测量结果。

时间采样带来了另一种限制。当帧间间隔较大时,表面可能移过多个重复图案,也可能先消失再重新出现,使对应关系变得模糊。长曝光会对随时间变化的辐亮度进行积分,产生运动模糊,而不是清晰的瞬时观测。卷帘快门相机会在不同时刻对不同行曝光,因此,一对图像未必分别对应整个场景的两个统一时刻。要考虑这些效应,就需要比常规双帧亮度恒常性假设更丰富的成像模型。

外观也可能因与物质运动无关的原因而变化。反射影像可以在静止的抛光表面上移动,光照可以产生移动的阴影,透明物体则可能将前景与背景的运动混合在一起。此时,每个像素仅用一个向量来表示运动可能并不充分。分层运动模型、显式反射处理以及考虑几何信息的建模方法,可以应对其中的某些情况;但如何定义“正确的光流”,本身也可能取决于任务关注的是可见外观,还是其背后的表面运动。

不确定性估计十分重要,因为误差的成因和空间分布各不相同。纹理不足会造成歧义;鲜明但重复的纹理可能导致置信度很高的错误匹配;遮挡则会使观测依据完全缺失。基于残差、匹配唯一性、前后向一致性或学习得到的不确定性的置信度指标,反映了可靠性的不同方面。这些指标要发挥作用,就需要经过校准:所声明的置信水平,应当与系统实际使用条件下观测到的准确率相符。

更长的序列能够提供额外依据,但也会带来新的复杂问题。多帧方法可以区分暂时遮挡与消失,施加时间一致性约束,并在跟踪中断后重新衔接轨迹。同时,这类方法还必须防止早期错误不断累积,并适应运动突然变化的物体。事件相机以异步方式记录亮度变化,能够提供另一种具有高时间分辨率的运动信息来源,但需要采用适应事件时序和传感器特有效应的估计方法。

效率仍是独立于基准测试准确率的另一项目标。嵌入式系统可能要求延迟有明确上限、功耗低,并在异常条件下保持稳定;离线影片处理则可以容许大得多的计算量。降低分辨率或减少迭代次数,可能对小物体的运动估计和边界质量造成尤为严重的损害。因此,研究评估的不仅是平均对应误差,还包括可见性推断、不确定性、时间一致性,以及保留精细运动结构所需的计算成本。