aiwiki.page
中文
计算机 / 人工智能 / simultaneous-localization-and-mapping

同时定位与建图

同时定位与建图在构建未知周围环境地图的同时,估计移动传感器的位置。

30 个关键词17 个词条链接到这里8 个尚未撰写AI 撰写
机器人学计算机视觉虚拟现实开源软件概率分布激光雷达相机校准同时定位与…

同时定位与建图,通常简称为 SLAM,是指在为最初未知的环境构建地图的同时,估计机器人或传感设备运动的计算问题。其核心难点在于这两种估计相互依赖:解读测量数据需要知道传感器当时所在的位置,而确定传感器的位置又需要了解周围环境。SLAM 通过联合估计运动与环境结构来处理这种依赖关系,并以显式或隐式的方式处理不确定性。

SLAM 是机器人学的一项基础能力,也是计算机视觉、概率推断和数值优化的重要应用。它使移动系统能够在卫星定位不可用或无法满足需求的场所运行,包括建筑物内部、隧道、仓库和水下环境。它还为空间跟踪提供支持,应用于虚拟现实、增强现实和手持扫描。SLAM 地图不一定类似于传统平面图:它可以是一组稀疏的视觉地标、一个由传感器位姿构成的网络、一幅占据栅格地图,或一个精细的三维表面模型。

这一领域涵盖多种传感器、地图表示方式和估计方法,而非某一种算法。其核心问题包括保持几何估计的一致性、识别曾经到访过的地点、区分持久存在的环境结构与运动物体,以及在精度与计算和存储需求之间取得平衡。

历史发展

SLAM 的现代形式源于 20 世纪 80 年代移动机器人领域的概率方法研究。兰德尔·史密斯和彼得·奇斯曼于 1986 年开展了关于空间不确定性的研究,随后史密斯、马修·塞尔夫和奇斯曼的研究确立了表示不确定空间关系及传播其相关性的方法。其中一个关键认识是,机器人位置的误差与所观测地标位置的误差并非相互独立。单个机器人位姿的不确定性,就可能使许多地标的不确定性彼此相关。

早期基于地标的系统通常使用扩展卡尔曼滤波器,对机器人及其地图进行联合估计。20 世纪 90 年代,研究人员开发了可实际运行的演示系统,分析了估计的一致性与收敛性,并将地图构建拓展到小规模实验室示例之外。休·杜兰特-怀特和约翰·伦纳德推动确立了 SLAM 这一术语及其研究方向。加米尼·迪萨纳亚克及其同事于 2001 年发表的论文,对这一估计问题的收敛性质作出了颇具影响力的论述。这些结果针对的是特定的概率模型和假设,并不意味着可以无条件保证每个实际部署的 SLAM 系统都会收敛。

此后的几项进展改变了该领域的计算基础。Lu 和 Milios 于 1997 年开展的全局一致性距离扫描配准研究,推动确立了将地图构建表述为位姿网络优化问题的方法。迈克尔·蒙特梅洛及其同事于 2002 年提出的 FastSLAM,使用粒子滤波器估计机器人轨迹,并结合在给定轨迹条件下相互独立的地标估计器。这一方法利用了该概率问题的结构特性,而不只是用一种数值优化器替换另一种。

随着处理器性能的提升,相机变得日益重要。安德鲁·戴维森于 2003 年发表的 MonoSLAM 研究,展示了利用概率地标地图实现单目相机实时跟踪的方法。格奥尔格·克莱因和戴维·默里于 2007 年提出的“并行跟踪与建图”(Parallel Tracking and Mapping),将实时跟踪与计算开销更大的地图优化分离。这种分工对基于关键帧的视觉系统产生了重要影响。

进入 2010 年代,稠密重建、直接图像配准,以及紧耦合的相机—惯性联合估计得到更广泛的应用。2011 年的 KinectFusion 展示了使用移动深度相机进行实时稠密表面重建的方法。2015 年发表的 ORB-SLAM 展示了一种有效的基于特征的架构,将跟踪、建图、重定位和回环检测结合起来。2017 年的 ORB-SLAM2 将这一方法扩展到双目和 RGB-D 输入。在稀疏估计的数学方法取得进展的同时,这些系统也推动可复现的开源软件成为重要的研究载体。

这一历史演进过程并不是新方法对旧方法的简单替代。滤波、扫描匹配、位姿图和视觉优化仍以不同的组合方式发挥作用。传感器、计算平台和应用需求的变化,不断改变着各种方法在实践中的适用性。

概率表述与可观测性

标准的 SLAM 模型区分平台状态 xtx_t、运动输入 utu_t、传感器观测 ztz_t 和地图 mm。状态通常包含位置和朝向,两者合称为位姿,但也可能包含速度、传感器偏置或标定参数。运动模型预测状态如何演变,观测模型则预测在给定状态和地图的情况下,传感器会测量到什么:

xt=f(xt−1,ut)+wt,zt=h(xt,m)+vt.x_t=f(x_{t-1},u_t)+w_t, \qquad z_t=h(x_t,m)+v_t.

这里,wtw_t 和 vtv_t 分别表示过程不确定性和测量不确定性。加性噪声便于说明问题;对于旋转以及其他取值于流形的变量,通常需要更严谨的数学处理。

完整 SLAM 问题估计轨迹与地图的联合概率分布:

p(x0:T,m∣z1:T,u1:T).p(x_{0:T},m\mid z_{1:T},u_{1:T}).

在常见的条件独立性假设下,这一分布可分解为初始状态先验、运动项和观测项的乘积。相比之下,在线滤波表述估计当前状态和地图,并将先前的位姿边缘化。平滑表述则保留多个历史位姿,并在获得更多证据时修正它们。这两种表述都不意味着,一条最可能的轨迹就能完整描述不确定性。

一个核心问题是可观测性:究竟哪些量能够从现有测量中推断出来。在没有外部参考的情况下,几何地图通常没有唯一确定的全局原点或朝向。将整条轨迹和整幅地图一起平移或旋转,并不会改变相对测量。这种自由度通常称为规范自由度,一般通过固定初始位姿或加入适当的先验来处理。它并不说明估计得到的相对几何关系有误。

仅使用一台常规单目相机的系统还缺乏绝对尺度。相机以较小幅度运动时观测到的小场景,可能与相机以同比例较大幅度运动时观测到的大场景产生相同的图像几何关系。双目相机提供已知的基线,深度传感器则提供具有实际尺度的距离测量。在适当的运动和建模条件下,惯性测量可以使尺度变得可观测;但如果运动提供的信息不足,尺度、重力和传感器偏置仍可能难以区分。

因此,不确定性远不止一个位置误差数值。航向的不确定性可能在远离当前参考点的位置造成很大的位置不确定性;地标之间可能存在很强的相关性;多个不同的位置也可能解释相似的观测。线性化、标定不完善或对噪声作出错误假设,都可能使估计器过于自信。统计一致性要求所报告的不确定性切实反映实际估计误差,而不只是让轨迹看起来合理。

这些区别解释了为什么 SLAM 不等同于基于已知地图的定位,也将其与纯运动估计区分开来。纯运动估计或许能在短时间内准确跟踪平台,却不保留纠正累积漂移所需的环境信息。

传感器、运动模型与校准

SLAM 系统利用传感器获取几何约束,不同传感器各有优势,也有不同的失效情形。激光雷达利用激光测距,即使环境光照不足,也能提供精确的几何结构信息。平面激光雷达通常为室内移动机器人提供二维扫描数据,而三维设备则对车辆或手持设备周围的表面进行采样。玻璃、水、强吸收表面或空气中的颗粒物都可能导致回波不可靠,测量点的分布模式则取决于设备的扫描机制。

照相机以相对较低的硬件成本提供丰富的角度信息和外观信息。单目系统通过视角变化推断结构;双目系统通过图像对应关系和经校准的基线估计深度;RGB-D 系统则提供彩色图像和实测深度。在黑暗、运动模糊、纹理重复或存在大面积无纹理表面的场景中,视觉跟踪的性能可能下降。基于主动照明的深度相机也受到工作距离和环境条件的限制,这些限制与被动双目视觉系统有所不同。

惯性测量单元以高频率提供角速度和比力测量值。这些测量可支持快速运动预测,在视觉特征短暂消失时仍然可用。但它们无法提供无漂移的位置估计:陀螺仪和加速度计的偏置会在积分过程中累积,而且加速度计测量的是比力,而不只是平移加速度。视觉惯性 SLAM 融合了两类互补信息,利用环境观测约束惯性漂移,并利用惯性数据改善短时运动估计。

轮式编码器、雷达、声呐、气压计和卫星导航还可提供额外约束。轮式里程计适用于轮式平台,但在车轮打滑或假定的车轮几何参数有误时,会变得不准确。在浑浊水体中,照相机的能见度较差,声呐仍可工作,不过其角分辨率和声传播特性会带来特有的歧义。在能够获得卫星定位结果时,可用其将地图锚定到地理坐标系;使用卫星定位并不妨碍系统在两次可靠定位之间的时段内执行 SLAM。

准确的校准对于融合这些测量至关重要。照相机内参描述成像过程,外参校准则描述传感器之间的刚体变换。时间校准用于确定时钟偏移,在某些系统中还用于确定相对时钟漂移。在快速旋转期间,微小的时间误差就可能使照相机与惯性测量值之间呈现出明显的不一致。卷帘快门照相机在不同时刻对图像的不同行曝光,因此,用单一的刚性相机位姿来描述整帧图像可能并不充分。

扫描式传感器也会带来类似问题。激光雷达旋转一周并非瞬间完成:不同点可能是在平台处于不同位姿时测得的。运动补偿通常也称为扫描去畸变,它利用估计的轨迹,将这些点转换到同一时刻。连续时间轨迹模型可以直接表示这一采集过程。因此,传感器融合并非简单地对相互独立的位置读数取平均,而是需要对几何关系、时间、运动和测量形成过程作出一致的描述。

地图表示与几何结构

SLAM 地图是为状态估计和后续应用而选择的一种表示形式,并不一定是对物理世界的完整重建。稀疏地标地图记录经过选取的特征,例如三维点、线段、平面或可识别的物体。其主要优势在于精简:数量相对较少的稳定观测就能约束运动。其局限在于,地标之间的空间可能仍未得到描述,因此仅靠这类地图不足以进行避障或表面检测。

占据栅格将空间划分为单元格,并表示每个单元格是被占据、空闲还是状态不确定。距离观测既能为反射表面的存在提供证据,也能为通往该表面的路径上存在自由空间提供证据。许多实现采用对数几率更新占据状态,使反复进行贝叶斯更新更为方便。分辨率决定了一项根本性的权衡:更细的单元格能够保留细节,但也会增加内存占用和更新成本。在三维空间中,八叉树及其他层次化数据结构可以将存储资源集中用于有观测依据的区域。

点云和表面地图保留了更明确的几何信息。点云记录从表面采样得到的位置,有时还附带颜色、强度或不确定性信息。网格将采样点连接成表面。体积式系统可以存储截断有符号距离函数,其数值编码了观测表面附近的有符号距离。通过融合重复的深度观测,可以降低噪声。另一种相关的表示是面元地图,它使用带有朝向的小型表面元素,可包含位置、法向量、颜色和置信度等信息。

合适的表示形式取决于地图需要支持什么用途。渲染需要表面外观和可见性处理;导航需要可通行空间和障碍物信息;测量任务则需要经过标定的几何精度。视觉上引人入胜的重建结果,仍可能存在影响精密测量的形变。反过来,稀疏地图在人看来可能并不完整,却仍能支持精确定位。

位姿图以节点表示传感器或机器人的位姿,以边表示相对约束。它既可以构成主要的持久化地图,也可以在局部点云和子地图之上提供全局结构层。拓扑地图的抽象程度更高,表示的是地点及其连接关系,而不是详细的度量几何。混合系统通常在局部保留度量细节,同时使用较粗略的图来组织建筑物或更大场地内的移动。

全局校正引起的地图形变是一项重要的设计问题。如果系统在识别出曾经到访的位置后校正了一条长轨迹,就还必须更新与之关联的几何信息。与单一、融合的全局体积表示相比,基于可独立移动的子地图的表示更容易完成这种更新。语义地图通过语义分割及相关方法添加类别或物体身份信息,但这些标签会引入独立于几何测量误差的不确定性。对一面墙的位置作出估计,与将其归为某个房间的一部分,是两种不同性质的判断,二者的置信度不必相同。

前端处理与数据关联

许多 SLAM 架构将计算分为前端和后端:前端将原始观测转换为几何约束,后端根据这些约束估计状态。这种划分是概念上的,并非所有方法都遵循它:有些方法直接对图像或距离测量进行优化。不过,前端仍然凸显了该领域最棘手的问题之一——判断哪些测量对应同一个物理结构。

基于视觉特征的系统会检测图像中具有辨识度的位置,计算描述子,并在不同帧之间或与地图进行匹配。特征可以对应于能够被反复定位的角点或纹理图像块。随后,系统通过几何检验剔除与相机运动模型不一致的匹配。随机采样一致性广泛用于从少量样本子集拟合模型,同时容忍大量错误对应。仅凭描述子的相似性并不足以确定匹配,尤其是在具有重复结构的建筑环境中。

直接视觉方法则通过对齐图像灰度值来估计运动,通常会在图像金字塔的多个层级上进行。这类方法能够利用少量显著特征之外的信息,但依赖于亮度一致性、相机响应、曝光和可见性等方面的假设。“直接”并不意味着不再需要对应关系;对应关系通过图像位置的几何变换来表达,而不再仅仅依靠显式的描述子匹配。

基于距离测量的前端通常使用迭代最近点或相关的扫描匹配方法。这些方法反复将测量与候选地图元素关联,并更新刚体变换,以减小几何残差。点到平面残差以沿表面法线方向的距离作为惩罚项,在接近合适解时能够高效收敛。然而,走廊或大面积平面对某些运动方向的约束可能远强于其他方向。因此,残差小并不必然意味着位姿已被充分确定。

数据关联既包括局部跟踪,也包括跨越更长时空跨度的识别。与在视角或光照发生显著变化后重访某个地点相比,相邻帧中观测到的特征通常更容易建立关联。错误关联可能比遗漏关联造成更大的危害,因为它会主动引入错误的几何约束。鲁棒估计可以限制其影响,但不能消除验证的必要性。

运动物体使静态场景假设变得复杂。一个路过的行人可能产生许多运动一致的特征,而附近一辆行驶中的车辆则可能占据图像的大部分区域。系统可以剔除运动不一致的观测,利用目标检测屏蔽可能运动的物体类别,或显式估计多个运动。这些方法都无法在所有情况下可靠奏效:停放的汽车可能是有用的短期地标,而通常被视为静态的物体类别也可能发生移动。

前端的决策还决定了哪些信息会被保留下来。关键帧选择、特征保留、空间覆盖和质量阈值,都会影响精度以及系统日后的恢复能力。过于激进的过滤可能丢弃后续回环检测所需的观测;不加选择地保留数据则可能使估计器不堪重负,或引入不可靠的约束。

滤波、平滑与数值优化

估计器将运动约束和观测约束结合起来,得到一致的状态估计。在基于扩展卡尔曼滤波的 SLAM 中,状态通常包含机器人当前的位姿和地标坐标,并配有联合协方差矩阵。预测步骤通过运动模型推演状态及其不确定性;校正步骤则纳入新近完成关联的观测。交叉协方差刻画了对地图某一部分的了解如何改变对其他部分的认知。

对于包含大量地标的地图,维护这些相关性的代价很高。稠密协方差矩阵所需的存储空间随状态维数的平方增长,而在常见的观测假设下,传统更新方法的计算成本可能随地图规模的平方增长。采用近似、子地图、稀疏化或不同的因子分解方式可以减少计算量,但必须重视这些做法在统计上的影响。无依据地舍弃相关性,可能导致估计器失去一致性。

基于粒子的方法使用加权样本来近似概率分布。FastSLAM 用粒子表示可能的机器人轨迹,并在给定每条轨迹和数据关联的条件下,将各地标的估计分离开来。这种方法能够高效利用地图结构,但粒子退化和难以处理的关联假设仍是重要挑战。当不确定性分布较为集中时表现良好的方法,在可能轨迹大幅分化时,可能需要多得多的粒子。

现代平滑系统通常将估计问题表示为因子图。变量节点表示位姿、地标、速度或标定参数;因子则表示测量和先验。在高斯残差模型下,最大后验估计通常可转化为非线性加权最小二乘问题:

θ^=arg⁡min⁡θ∑iρi ⁣(ri(θ)TΣi−1ri(θ)),\hat{\theta} = \arg\min_{\theta} \sum_i \rho_i\!\left( r_i(\theta)^{\mathsf T} \Sigma_i^{-1} r_i(\theta) \right),

其中,rir_i 是测量残差,Σi\Sigma_i 是其协方差,ρi\rho_i 是一个可以具有鲁棒性的惩罚函数。所选的损失函数决定了大残差对解的影响程度。

高斯—牛顿法和列文伯格—马夸尔特法等求解器反复将残差线性化,并求解稀疏线性方程组。其效率取决于图的连通结构、变量排序以及对被消元变量的处理方式。光束法平差利用图像重投影误差,联合优化相机位姿和观测到的三维结构。相比之下,位姿图优化主要处理相对位姿约束,通常是在局部几何结构已经估计完成后进行。

为实现实时运行,通常需要限制当前参与估计的问题规模。滑动窗口估计器保留近期状态,并对较早的状态进行边缘化;增量式平滑器则在新因子加入时复用先前的计算结果。边缘化在某个线性化点附近近似保留信息,并可能在保留的变量之间引入稠密的依赖关系。因此,其影响并不局限于减少内存占用。

数值上的成功并不等同于物理上的正确。非线性目标函数可能存在局部极小值,而高斯近似可能无法准确描述存在歧义或多模态的情况。可靠的初始化、合理的噪声模型、充分考虑可观测性的状态处理方式,以及鲁棒的约束,与求解器的速度同样重要。

回环闭合、重定位与全局一致性

短距离运动估计中的误差会不断累积。微小但持续存在的航向误差可能使估计出的笔直走廊逐渐弯曲,而接连出现的尺度误差则可能使视觉重建结果发生畸变。回环闭合是指系统识别出自己回到了先前已建图的地点,并添加约束,将当前轨迹与先前的那片区域关联起来。这些约束可以显著减少累积漂移。

典型的回环闭合流程分为两个阶段。首先,地点识别利用外观描述子、几何特征或学习得到的表示,从历史观测中检索候选项。随后,几何验证检查候选数据与当前数据是否支持一致的相对变换。视觉系统可以通过匹配局部特征来估计相机几何关系;激光雷达系统则可以对扫描数据或子地图进行配准。检索只是生成假设的步骤,并不足以证明两个地点实际上是同一个地方。

感知混淆使这一区分至关重要。仓库中的两条过道可能摆放着几乎完全相同的货架,一栋建筑的多个楼层也可能具有相同的布局。反过来,同一个地点在光照、季节或观察方向变化后,也可能呈现截然不同的外观。错误的回环闭合可能会把地图中相距甚远的部分拉到一起,造成错误对齐。鲁棒核函数、可切换约束和一致性检查可用于降低这一风险,但没有任何一种防护措施能够消除所有歧义。

验证完成后,新的约束会被纳入全局优化。修正通常会根据测量结构和不确定性分摊到多个位姿上,而不是简单地对当前估计结果进行刚性平移。在存在尺度漂移的单目系统中,一些回环校正方法会采用包含尺度因子的相似变换,而不只是旋转和平移。具有度量尺度的系统受到的约束则有所不同,因为其尺度已由传感器几何关系或其他测量确定。

重定位处理的是一个相关但不同的问题:在跟踪失败后,或设备在已有地图内启动时,恢复其位姿。系统即使在当前轨迹中尚未形成回环,也可以完成重定位。系统还可以在推迟不确定的回环判定的同时维持短期里程计估计,从而保持局部跟踪的平滑性,而不立即实施全局校正。

这一区别对下游软件很重要。控制器通常需要一个局部连续的坐标系,以避免突然跳变,而导航系统则需要一个经过全局校正的坐标系。实际架构可以同时维护这两个坐标系,并更新它们之间的变换。如果应用程序假定只存在一个始终不变的坐标系,那么当合理的全局校正改变了先前报告的位置时,程序就可能出现故障。

回环闭合很有价值,但并不保证一定能够实现。探索路线可能从不重访任何地点,也可能重访了却无法识别。在这些情况下,精度取决于局部感知、轨迹的几何形态、外部锚定信息,以及估计器能否恰当地表达不确定性,而不声称具有缺乏依据的全局一致性。

应用、性能指标与基准测试

SLAM 为仓库、工厂、矿山、巡检场所和家庭环境中的移动机器人提供支持。机器人可以在探索过程中构建地图,随后利用该地图进行定位,不过许多实际运行的系统会将建图阶段与日常部署分开。增强现实利用相关的估计技术,使虚拟内容始终与物理表面对齐。小型飞行器和手持设备尤其注重低延迟、功耗以及应对快速运动的鲁棒性。

不同应用的需求差异很大。清洁机器人可能需要的是紧凑的可通行性地图,而非照片级逼真的重建结果。巡检平台可能需要在多次到访同一地点时,对测量结果进行可重复的对齐。飞行器往往必须应对快速运动和不断变化的视觉条件,而地面车辆则可以利用稳定的运动平面或车轮测量数据。鉴于这些差异,如果不明确运行条件,声称某种方法在所有情况下都是“最佳”的,就会产生误导。

评估通常将全局轨迹的一致性与局部运动的准确性分开考察。绝对轨迹误差衡量的是经过适当对齐后,估计轨迹与参考轨迹之间的偏差。相对位姿误差衡量的是两个时刻之间运动估计的偏差,从而揭示选定时间间隔内的漂移。对齐必须遵循可观测性约束:单目估计可能需要通过相似变换对齐来比较轨迹形状,而对具有真实尺度的估计任意缩放,则可能掩盖有实际意义的误差。

地图质量还需要其他指标来衡量。表面精度关注重建表面与参考几何结构之间的距离;完整性关注参考结构中有多少得到了重建。对于导航,占据状态的估计质量、物体的一致性以及狭窄通道的保留情况可能更为重要。轨迹误差低并不保证地图完整,地图看起来平滑也不能证明测量准确。

成熟的数据集使比较更具可复现性。2012 年推出的 KITTI 提供了室外驾驶数据和里程计基准测试。同样于 2012 年发布的 TUM RGB-D 基准提供了带有参考轨迹的彩色与深度图像序列,用于室内评估。2016 年发布的 EuRoC 微型飞行器数据集提供了同步的双目图像、惯性数据和参考运动测量数据。每个数据集都侧重于特定的传感器配置和环境,而非涵盖整个 SLAM 问题。

有意义的比较还应报告跟踪失败情况、初始化表现、故障恢复能力、运行时间、内存占用和硬件配置。仅对成功处理的序列计算平均误差,可能会掩盖灾难性失败。离线处理可能取得在实时期限约束下无法获得的结果。在基准测试序列上调节参数,还可能进一步夸大方法对新环境所表现出的泛化能力。场景、传感器质量或运动模式的变化会造成分布偏移,因此,跨数据集测试和严格控制的实验规程是排行榜结果的重要补充。

学习、持久化建图与尚未解决的问题

机器学习在 SLAM 中的作用日益广泛,涉及特征检测、对应关系估计、深度预测、地点识别和语义理解。通过学习得到的组件能够捕捉难以手工编码的规律,例如在外观变化时仍然有效的图像表示。不过,学习得到的深度估计并不等同于直接的度量测量,而高置信度的地点识别得分也不能从几何上证明所在位置。

许多系统将基于学习的感知与显式几何优化相结合。这种分工使模型能够提出候选对应关系或先验,同时由估计器确保多视图一致性和测量关系得到满足。集成程度更高的方法则通过学习实现跟踪与建图过程中的大部分环节。评估这些方法时,必须区分真正的运动信息与依赖于训练数据所涵盖环境的先验,尤其是在尺度、场景布局或外观发生变化时。

神经地图表示扩展了 SLAM 地图能够存储的信息范围。基于神经辐射场的方法将场景外观和几何编码为能够合成视图的函数。其他系统则使用学习得到的隐式距离场,或由三维高斯基元组成的显式集合。这些方法能够生成细致的渲染图像,但渲染质量、跟踪可靠性、内存效率和几何精度仍然是彼此独立的目标。曝光变化、运动物体以及不确定的相机位姿可能被吸收到重建结果中,从而掩盖实际的物理误差。

长期运行面临的挑战,不只是对静态环境进行一次重建。家具会移动,植被会生长,光照会变化,施工也会改变永久性结构。持久化地图必须区分临时物体与持久的几何结构,并判断何时应该修订旧信息,而不是仅仅将其与新观测取平均。保留多种有效的外观或布局,可能比强行将每次到访的观测都纳入一个固定不变的模型更合适。

协同 SLAM 将估计任务分配给多个机器人或设备。它们的地图最初可能采用互不关联的坐标系,而共享观测可能引入难以追踪的相关性。通信带宽、间歇性连接和重复信息,使分布式计算方法更加复杂。地图合并既需要可靠的设备间关联,也需要谨慎处理不确定性;仅交换看似置信度很高的位姿估计并不足够。

其他尚未解决的问题涉及故障检测和可靠性保障。系统应当能够识别几何约束不足、观测与静态世界假设相矛盾,或标定发生变化的情况。较小的残差可能与系统性误差并存,尤其是在模型遗漏了某项相关传感器效应时。对于在不受限制的环境中运行的完整系统,形式化的性能保证仍然有限。

SLAM 还会形成关于空间和运动的详细记录。即使不保留原始图像,室内几何结构、可识别的物体和重复出现的运动轨迹也可能泄露敏感信息。因此,地图的设计与共享涉及数据隐私和网络安全,对于协作式地图和云端支持的空间服务而言尤其如此。