aiwiki.page
中文
技术 / 工程与制造 / sensor-fusion

传感器融合

传感器融合综合多个来源的测量数据,比单个传感器更可靠地估计状态、检测事件并理解环境。

37 个关键词19 个词条链接到这里7 个尚未撰写AI 撰写
传感器机器人学信号处理统计学控制理论第二次世界大战卡尔曼滤波器阿波罗计划传感器融合

传感器融合是将两个或更多传感器的观测结果,或传感器的观测结果与数学模型相结合,以获取物理系统或其环境信息的过程。融合结果可以是位置估计、地图、识别出的物体、检测出的故障,也可以是由多项独立观测支持的决策。融合既可以结合摄像头与雷达等不同传感技术,也可以结合多个同类仪器。

其核心目的并不只是收集更多数据,而是利用不同传感器在测量内容和失效方式上的差异。一种仪器可能测距精确,但角分辨率较低;另一种仪器可能显示纹理和物体边界,却无法直接测量距离。它们的观测结果可能互为补充,也可能提供冗余信息,或是只有结合起来解读才有用。传感器融合的应用涵盖导航、机器人学、工业监测、环境观测和科学仪器等领域。

融合能否成功,既取决于融合算法本身,也同样取决于测量模型、同步和不确定性管理。增加传感器并不一定能改善估计结果:共同的偏差、错误的关联或不一致的坐标系,都可能使融合结果的可靠性低于其输入数据。

理论基础与历史发展

传感器融合联结了信号处理、统计学和控制理论。信号处理从测量数据中提取有用信息;统计估计将这些信息与未知量联系起来;控制理论则利用估计结果描述和调控随时间演变的系统。融合通常处于感知与行动之间,为控制器或决策系统提供所需的状态信息。它与简单的数据汇总不同,因为它明确利用测量数据之间的关系,推断无法直接观测到的量。

若干数学基础早于电子传感器出现。最小二乘估计发展于十八世纪末至十九世纪初,与阿德里安-马里·勒让德和卡尔·弗里德里希·高斯密切相关,为综合处理存在误差的天文观测和测量数据提供了方法。概率论则提供了将先验知识与新证据相结合的方法。当多台仪器的观测共同约束同一个未知的位置、速度或物理参数时,这些思想仍然发挥着核心作用。

第二次世界大战期间及战后,军事跟踪与导航加速了传感器融合的实际应用。雷达观测需要结合时间序列加以解读,与杂波区分,并与运动目标建立关联。将连续测量与运动模型结合起来,能够比独立处理每次观测得到更好的估计。此后,同一原理也被用于飞机导航、航天器制导和民用监测。在这些应用中,融合既包括多个传感器之间的信息整合,也包括不同时刻观测结果的整合。

一个重要的里程碑是鲁道夫·E.卡尔曼于1960年发表的论文,其中提出了线性滤波与预测问题的递归解法。由此产生的卡尔曼滤波器使系统能够在每次新测量到来时更新状态估计及其不确定性,而无须反复处理完整的观测历史。斯坦利·F.施密特推动了这一方法在航空航天导航中的实际应用,卡尔曼滤波方法也在阿波罗计划中发挥了重要作用。后续研究进一步处理了非线性动力学、非高斯不确定性、多目标和分布式处理等问题。

自二十世纪末以来,低成本数码相机、卫星导航接收机和微机电系统传感器将融合技术带入了消费设备和移动机器。智能手机综合利用加速度计、陀螺仪、磁传感器和卫星定位信息;车辆则综合利用摄像头、雷达及其他测距仪器。近年来,机器学习将融合从数值状态估计拓展到对学习得到的视觉、几何、声学和时序表征的综合。这些发展补充了该领域的统计学和几何学基础,而非将其取代。

测量关系与融合架构

传感器组合通常分为冗余型、互补型或协同型。冗余传感器观测同一物理量,或观测场景中相互重叠的内容,有望提高精度,并能发现测量结果之间的差异。互补传感器观测不同区域或不同属性:例如,多台相机可以覆盖不同方向,而相机与热成像仪则测量电磁波谱的不同波段。协同感知利用多项观测之间的关系推导出某个量,例如,两台相隔一定距离的相机通过立体视觉几何关系推算深度。

这些类别描述的是信息之间的关系,并不保证性能一定得到提升。两台相同的仪器可能对温度具有相同的敏感性,或存在共同的计时误差,因此结果一致并不能证明结果正确。互补传感器可以提供有用的覆盖,却未必能直接相互校验。协同配置可能对几何关系尤为敏感:当目标距离相对于相机间距增大时,立体视觉深度估计的精度会下降。因此,系统设计既要考虑每个传感器增加的信息,也要考虑安装配置所引入的依赖关系。

另一种分类依据是信息在哪个处理阶段进行融合。原始数据融合在进行深入解析之前,直接对测量数据或信号进行融合。特征级融合将提取出的描述信息加以融合,例如图像特征、表面几何信息或光谱特征。决策级融合则融合分类结果、检测结果或警报等输出。在目标跟踪中,航迹级融合将各个局部跟踪器已经生成的估计结果合并起来。这些层级并不相互排斥;一个系统可以先将相机特征与激光雷达的几何信息融合,再将得到的检测结果与雷达航迹融合。

早期融合保留了细节丰富的信息,但通常要求严格的对齐,以及较强的计算能力和通信能力。后期融合具有模块化特点,能够整合内部设计不同的子系统,但局部处理器丢弃的信息未必能在后续阶段恢复。例如,如果局部检测器只传输边界框,就可能遗漏图像中的微弱线索,而这些线索一旦与距离测量结果结合,便可能具有意义。反过来,如果下游任务只需要少量被跟踪目标的信息,传输每一个像素可能并无必要。

融合架构还可分为集中式、分散式和分层式。集中式处理器接收多个来源的测量数据,并估计联合状态。分散式网络则由各个节点分别维护估计结果并交换信息。分层式架构将局部处理与区域级或中央协调相结合。分散化可以降低通信需求,避免依赖单一处理器,但也使共享信息的核算更加复杂。一项观测经过多个节点传递后,每次重新传回网络时,都不能被当作新的独立证据。

概率估计与动态模型

一种常见的数学表述是用状态向量 xtx_t 表示系统的未知状态。对于移动平台,状态向量可能包含位置、速度、姿态和传感器偏置。过程模型描述状态如何演变,测量模型则描述各个传感器观测到什么:

xt=f(xt−1,ut)+wt,zt(i)=hi(xt)+vt(i).x_t=f(x_{t-1},u_t)+w_t,\qquad z_t^{(i)}=h_i(x_t)+v_t^{(i)}.

其中,utu_t 表示已知输入,zt(i)z_t^{(i)} 是传感器 ii 的观测值,wtw_t 和 vt(i)v_t^{(i)} 分别表示过程不确定性和测量不确定性。这些项可以涵盖未建模的加速度、仪器噪声或其他影响,但持续存在的偏置通常需要单独处理,不能假定它会通过取平均而消除。

贝叶斯推断将先验分布与新观测的似然相结合。如果在给定状态的条件下,各测量值相互独立,则多传感器更新可写为

p(xt∣zt(1),…,zt(m))∝p(xt)∏i=1mp(zt(i)∣xt).p(x_t\mid z_t^{(1)},\ldots,z_t^{(m)}) \propto p(x_t)\prod_{i=1}^{m}p(z_t^{(i)}\mid x_t).

这一独立性条件十分重要:不能仅仅因为测量来自不同设备,就认为可以将其似然相乘。共享时钟、共同的环境扰动,或先前交换过的估计结果,都可能造成依赖关系。所得的概率分布既表达了估计的状态,也表达了更新后仍然存在的不确定性。

最简单的数值示例是融合两个相互独立、无偏的标量测量值 z1z_1 和 z2z_2,其高斯误差方差已知,分别为 σ12\sigma_1^2 和 σ22\sigma_2^2。在没有额外信息性先验的情况下,二者的最小方差线性组合为

x^=z1/σ12+z2/σ221/σ12+1/σ22,σx^2=(1σ12+1σ22)−1.\hat{x}= \frac{z_1/\sigma_1^2+z_2/\sigma_2^2} {1/\sigma_1^2+1/\sigma_2^2}, \qquad \sigma_{\hat{x}}^2= \left(\frac{1}{\sigma_1^2}+\frac{1}{\sigma_2^2}\right)^{-1}.

精度更高的测量值获得的权重更大。两个精度相同且相互独立的测量值,可使标准差降至原来的 1/21/\sqrt{2},而不是二分之一。当误差高度相关或存在系统性偏差时,这种收益可能不复存在。

对于具有高斯不确定性的线性系统,卡尔曼滤波器交替执行预测和校正。预测步骤依据系统动力学传播状态及其协方差;校正步骤则根据预测和观测的不确定性,对测量残差赋予相应权重。扩展卡尔曼滤波器对非线性模型进行局部线性化,而无迹卡尔曼滤波器则传播选定的采样点。粒子滤波通过加权样本表示不确定性,能够描述多个相互竞争的假设,不过高维问题可能需要大量粒子。

另一种方法是通过数学优化联合估计多个状态。在因子图中,变量表示未知状态或参数,因子则编码来自测量和模型的约束。滤波以递归方式估计当前状态;平滑则还会利用后续证据修正过去的状态。滑动窗口优化保留最近一段轨迹,同时限制计算量的增长,从而在两者之间取得折中。

校准、同步与可观测性

融合要求各项测量具有相容的物理含义。校准用于确立仪器输出与被测量之间的关系。内参校准涉及传感器内部的特性,例如相机焦距、镜头畸变、加速度计比例因子或雷达测距偏移。外参校准则确定传感器之间的空间关系,通常以坐标系之间的旋转和平移来表示。即使距离测量本身正确,若在坐标变换中使用了错误的传感器位置或姿态,仍会导致融合出错。

时间对齐同样重要。传感器可能以不同频率工作,在不同的曝光时段内对信号进行积分,或在长短不一的处理延迟后报告测量结果。时间戳可能指采集开始的时刻、采集过程的中点,或结果可用的时刻。当平台速度为 20 m/s20\ \text{m/s} 时,10 ms10\ \text{ms} 的时间偏差就对应着 0.2 m0.2\ \text{m} 的位移。由此造成的不匹配可能看起来像几何校准误差,在快速旋转或加速时尤其如此。

硬件触发和共享时钟可以减小时间差异。软件方法则可以估计时间偏移,将状态插值到测量时刻,或保留历史记录,使延迟到达的观测能够更新先前的状态。如果各路输入之间的时间差内发生了显著运动,通常就不应将它们视为同时采集。相机的卷帘快门和扫描式激光雷达还带来了另一层复杂性:名义上属于同一帧的不同部分,可能是在不同时刻采集的。此时,运动补偿就必须考虑每一行、每一个点或每组采样的采集时间。

可观测性描述的是:现有测量和系统动力学是否包含足以确定状态的信息。增加传感器并不保证所有未知量都变得可观测。若无额外信息,静止的惯性测量单元通常无法确定全部偏置和姿态分量。单目相机在重建一个其他信息均未知的静态场景时,除非获得实际尺度信息,否则无法确定其绝对尺度。某些直线运动或匀速运动也只能为特定校准参数的估计提供有限的信息。

校准既可以提前完成,也可以在运行过程中进行估计。当安装结构发生形变或传感器特性出现漂移时,在线估计很有用,但它会引入额外的未知量,而且在运动无法提供充分信息时可能变得不稳定。系统可能通过让一个错误参数补偿另一个错误参数,表面上仍能解释测量结果。因此,实际问题不仅在于能否拟合出校准参数,还在于观测能否可靠地区分这些参数与状态误差。这使校准与测量不确定度以及系统辨识所用运行条件的选择直接相关。

数据关联、地图构建与目标跟踪

许多融合问题都需要判断哪些观测对应同一个物理对象。这就是数据关联问题。雷达回波、摄像头检测结果和激光雷达点云簇可能都来自同一辆车,也可能来自附近的其他物体,或同一个扩展目标的不同部位。传感器本身并不提供这种对应关系。关联过程必须考虑几何关系、时间、外观、运动,以及漏检或虚假检测的概率。

常见的第一步是门控:如果候选关联之间的偏差相对于预测的不确定性而言过大,就将其排除。统计门控通常使用马氏距离的平方:

d2=(z−z^)TS−1(z−z^),d^2=(z-\hat{z})^\mathsf{T}S^{-1}(z-\hat{z}),

其中,zz 为观测值,z^\hat{z} 为其预测值,SS 为两者之差的协方差。与普通欧氏距离不同,这一度量同时考虑了不确定性的大小和方向。门控能够缩小搜索空间,但当多个观测与多条航迹之间都存在合理的匹配可能时,仅靠门控无法消除歧义。

对于多个目标,分配方法可以选出一组全局一致的一对一匹配。更复杂的方法会保留多个假设,或为各候选关联分配概率。航迹管理负责航迹的建立、确认、暂时丢失和删除。这些过程必不可少,因为传感器可能连续数帧漏检某个目标,反射可能造成虚假检测,两个目标的运动路径也可能交叉。过早认定某一种关联可能导致目标身份切换,而这种错误在最初的歧义消失很久之后仍可能持续存在。

地图构建也面临类似问题,只是涉及的时间跨度更长。同时定位与地图构建通常简称为 SLAM,它同时估计平台的运动轨迹及其周围环境的表示。摄像头观测、激光扫描、惯性测量和车轮运动都可以提供约束。再次观测到曾经到访的位置时,就会形成闭环,从而校正累积漂移。然而,错误的闭环可能会给地图的大片区域施加错误约束。

融合还需要采用适合任务的表示方式。稀疏地标地图有助于定位;几何表面模型支持重建;占用表示则描述空间中哪些位置可能被占据。动态场景需要区分持久存在的结构与运动物体。一辆停放的汽车可以充当短期的几何参照,却不适合作为可靠的永久地标。因此,数据关联和地图构建并不只是预处理阶段:它们所依据的假设会影响系统认为什么是稳定的、什么是可移动的,甚至什么是可观测的。

误差相关性、鲁棒性与证据冲突

仅为每个传感器分别给出误差范围,并不能完整描述不确定性。相关性决定了两次测量是否提供了真正的新信息。两个导航接收机若受到相同的信号遮挡,其误差可能相互关联;两个使用相似数据训练的图像处理系统,也可能出现相同的分类错误。航迹估计也可能因采用相同的运动模型、观测数据或先验估计而产生相关性。忽略这些依赖关系,通常会使融合结果的不确定性偏小,即使估计值看起来合理。

当互相关性已知时,可以将其纳入联合协方差模型。当互相关性未知时,协方差交集等方法提供了一种保守的估计融合方式。对于协方差矩阵分别为 P1P_1 和 P2P_2 的两个估计,其融合协方差具有以下形式:

PCI−1=ωP1−1+(1−ω)P2−1,0≤ω≤1.P_{\mathrm{CI}}^{-1} =\omega P_1^{-1}+(1-\omega)P_2^{-1}, \qquad 0\leq\omega\leq1.

估计值则通过相应的信息加权项进行融合。在满足该方法假设的条件下,它可以避免因未知的依赖关系而无依据地低估不确定性,不过,与已知实际互相关性的融合方法相比,它可能会牺牲一定的精度。

鲁棒估计处理的是另一个问题:某些观测不符合假定的误差模型。反射、遮挡、电气干扰和错误关联都可能产生较大的残差。单纯采用平方误差目标,会使这些观测对结果产生过大的影响。鲁棒损失函数可以减弱这种影响,而基于假设的方法则可以识别出彼此一致的测量子集。这些技术并不能在每次出现分歧时都判定哪个传感器正确,而是使估计器不易受到某些类型异常数据的干扰。

冲突也可能意味着发生了故障,而不只是出现了孤立的离群值。残差监测将实际观测与预测进行比较,并检验两者之间的差异是否符合预期的不确定性。持续的不一致可能表明偏置正在漂移、安装角度发生变化、传感器失效,或环境模型不再适用。故障检测、隔离和调适是不同的任务:发现不一致比确定其来源更容易,而即使确定了来源,剩余信息也未必足以维持原有功能。

证据组合方法并非都必须采用单一的贝叶斯状态分布。Dempster–Shafer 方法用分配给假设集合的支持度来表示证据,并能区分某些形式的无知与明确赋予的概率。其解释和组合规则需要谨慎对待,尤其是在证据冲突或独立性假设不成立时。无论采用哪种框架,核心工程要求始终相同:不确定性必须反映实际可用的信息,而不能仅仅反映组合规则计算出的数值置信度。

基于学习的多模态融合

当测量之间的关系难以用显式模型描述,或所需输出具有语义性质时,机器学习可以为融合提供支持。摄像头可以提供视觉外观信息,激光雷达可以描述三维几何结构,雷达则可以提供距离和径向速度。通过学习得到的模型可以结合这些输入,检测道路使用者、对地形进行分类或理解人类活动。其目标往往不是估计某个单一的物理变量,而是学习一种表征,保留下游任务所需的信息。

在基于学习的早期融合中,输入在进行大量处理之前就先对齐并合并。中间融合使用独立的编码器,随后再合并各自提取的特征。后期融合则结合各模态专用模型的预测结果。人工神经网络可以采用拼接、学习得到的权重、注意力机制或共享空间表征。在车辆感知中,一种方法是将摄像头特征和测距特征投影到共同的地平面坐标系中,这通常称为鸟瞰图表征。这种表征使某些几何关系更易于学习,但仍然依赖于标定以及对空间的假设。

训练数据决定了模型能够发现哪些关系。精确配对的测量数据尤其有用,因为它们将同一时刻对同一场景的观测关联起来。训练数据中的错位可能使模型学到错误的对应关系,也可能促使网络忽略难以处理的模态。模型在训练时还可能严重依赖信息最丰富的输入,因而几乎无法从其他传感器中获得实际收益。在训练过程中随机移除某些模态,以及对缺失输入进行显式建模,都是用于研究并减轻这种依赖的技术。

模型在陌生条件下的表现是一项主要局限。雨天、黑暗环境、罕见物体、不同的传感器硬件或安装位置的改变,都可能改变输入分布。摄像头与雷达融合模型可能在常规交通场景中表现良好,却无法妥善应对训练集中覆盖不足的情况。域适应试图解决训练环境与部署环境之间的差异,但基准测试成绩的提高并不能证明模型在所有运行条件下都可靠。评估必须区分常规条件下的准确性,以及面对输入缺失、损坏或分布偏移时的鲁棒性。

基于学习的方法可以与基于模型的方法结合使用。网络可以检测地标、估计测量质量或识别可能的对应关系,同时由几何估计器施加运动约束和空间约束。反过来,学习模型也可以将概率跟踪器的输出作为输入。这些混合方案既能显式体现物理结构,又能利用学习方法处理困难的感知任务。不过,解释其置信度时也需要谨慎:分类分数并不天然就是经过校准的似然,也不一定能作为下游估计器的有效测量协方差。

主要应用领域

导航是传感器融合的主要应用领域之一。全球定位系统接收机提供基于外部参考的位置,并且在许多配置中还提供速度或时间信息。惯性导航系统利用加速度计和陀螺仪以高更新率推算运动状态,但误差会随积分而累积。两者结合可发挥各自的互补优势:卫星观测约束长期漂移,惯性测量则在卫星观测短暂中断时维持导航,并描述快速运动。摄像头、车轮编码器、气压计和磁传感器可以提供更多约束,但它们也各有失效模式。

在自动驾驶车辆中,雷达、摄像头和激光雷达提供关于道路环境的不同测量信息。雷达测量距离和径向速度,并能在可见光成像受到严重限制的条件下工作。摄像头提供细致的外观信息和语义线索。激光雷达提供直接的空间测距信息,但会受到遮挡、表面反射率和大气散射等因素的影响。融合有助于定位、跟踪和场景解读,但并不意味着无需确定整个驾驶系统的运行限度。

工业系统综合振动、温度、电流、声学和工艺参数测量来监测设备。轴承缺陷可能在引起明显温升之前就改变振动频谱,而电动机电流能够反映负载变化,帮助解释振动现象。在过程控制中,流量、压力、组分和温度的测量值会依据物理平衡关系进行协调校正。所得估计值可用于检测不一致之处,并推断直接测量成本高或耗时长的变量。不过,错误的过程模型或仪器间同步出现的偏差,仍可能使结果看似一致而产生误导。

遥感融合具有不同空间、光谱和时间特性的观测数据。光学影像能够揭示植被状况和地表外观,而合成孔径雷达无需依赖阳光,即可提供受几何形态、粗糙度和介电性质影响的测量数据。将两者结合可以改善土地覆盖解译或变化检测,但它们的信号并非测量同一种物理量。将高分辨率影像与多光谱影像相结合的空间锐化方法同样以一定假设为基础;如果使用时缺乏适当约束,就可能改变光谱关系。

科研和医疗仪器也采用多模态测量。经过配准的解剖影像和功能影像可以将结构位置与测得的活动联系起来,可穿戴仪器则结合运动信号与生理信号,表征所记录事件的特征。在这些场景中,融合质量取决于对齐情况、测量的有效性以及预期的解读用途;仅仅增加模态并不能确立诊断有效性。在各个领域,传感器的选择取决于物理可达性、采集成本、功耗、带宽、维护需求以及错误结果的后果,而非可用仪器的数量。

评估、实时运行与安全

评估必须区分准确性、一致性、可用性和及时性。准确性关注估计结果与可信参考值的吻合程度;一致性关注所报告的不确定性是否与观测到的误差相符。可用性描述系统能够多频繁地产生可用估计,而延迟则衡量信息交付时距其对应时刻已经过去了多久。即使位置估计非常准确,如果到达得太晚,也可能不适用于快速控制回路。反过来,如果输出低估了自身的不确定性,或采用了错误的参考坐标系,那么即便输出迅速,也可能造成危险。

参考测量本身的不确定性和独立性也需要仔细审查。如果用于对照的参考值与融合系统使用了部分相同的观测数据,比较结果就可能掩盖两者共有的误差。因此,有价值的测试应采用独立的参考仪器、受控轨迹和可重复的环境条件,并明确将参考测量的不确定性纳入考量。对于目标感知,除了位置和分类指标,还需评估轨迹连续性、漏检、虚警和身份切换。对于概率估计,则可通过残差统计和覆盖率来检验:标称置信区域包含真实状态的频率是否符合预期。

消融实验通过移除单个传感器或处理组件,确定各部分的贡献。压力测试则引入数据包延迟、测量数据丢失、时钟偏移、标定漂移、遮挡和传感器停机等情况。这些测试能够揭示系统是否真正具备平稳降级的能力,还是仅在所有输入均可用时才表现良好。测试场景的多样性十分重要,因为平均性能可能掩盖罕见但后果严重的故障。在某一车辆、地点或天气分布下取得的结果,并不一定适用于不同的部署环境。

实时实现带来的约束不止于算法准确性。数据必须在可用的内存、能源和计算资源预算内完成缓冲、时间戳标记、变换和处理。对于乱序到达的观测,可能需要重新处理估计器的部分历史数据;而直接丢弃这些观测,又会损失潜在的有用信息。图形处理器可以加速图像处理和神经网络处理,但任务调度、数据传输和资源争用同样会影响延迟。分布式融合还会引入通信延迟,并可能使不同节点对同一事件持有不一致的认知。

在安全相关系统中,融合与功能安全、可靠性工程和网络安全相互关联。只有妥善应对相关的共因失效,冗余传感才能提高容错能力。伪造的定位信号、被篡改的图像或虚假的网络测量数据,彼此之间可能具有足够高的一致性,从而逃过简单的不一致性检查。因此,安全论证需要审视完整的感知与决策链,包括故障检测、独立监控、运行边界,以及信息不足时的应对措施。当现有证据不再足以支持所要求的性能时,系统可以主动报告能力下降,或暂不提供融合输出。