图像配准是估计空间变换,将两幅或多幅图像中的对应结构置于同一坐标系中的过程。它是图像处理和计算机视觉的核心任务之一,使不同时间、不同视角或不同传感器获取的图像能够相互比较或组合。配准对象可以是二维照片、三维体数据、图像序列,也可以是需要与图谱或几何模型对齐的图像。配准的核心问题是确定空间对应关系,而不只是让图像看起来相似。
问题表述
在两幅图像的配准中,通常将一幅图像称为固定图像或参考图像,另一幅称为浮动图像或源图像。两者的坐标系通过一个变换关联起来。这些名称并不意味着只能修改浮动图像:对称方法可以将两幅图像都变换到某个中间坐标系,而群组配准方法则联合对齐多幅图像。
设 表示固定图像, 表示浮动图像。一种实用的约定是将 定义为从固定图像坐标到浮动图像坐标的变换。配准后的浮动图像为
这是一个采样变换:对于输出图像中的每个位置,它指定应在浮动图像的何处采样。有些系统则给出相反方向的变换,因此必须区分所报告变换的方向与图像看起来移动的方向。
一种常见的表述为
其中:
- 衡量图像或其对应特征之间的差异;
- 属于选定的变换族;
- 对不符合要求的变换施加惩罚;
- 控制图像一致性与变换约束之间的平衡。
这一表述将配准与数学优化联系起来。并非所有方法都显式求解这一目标函数:有些方法根据匹配点通过代数运算估计变换,而基于学习的方法可以直接预测变换。
坐标可以用像素、三维体素或物理单位表示。因此,图像的采样间距、方向和原点都很重要,尤其是在图像分辨率或采集几何关系不同时。
变换模型
变换模型决定了配准方法能够表示哪些空间差异。
刚性变换与相似变换
刚性变换由旋转和平移组成,保持距离和角度不变。在 维空间中,它可写为
其中, 为旋转矩阵, 为平移向量。普通刚性配准在二维空间中有三个自由度,在三维空间中有六个自由度。
相似变换还允许均匀缩放。它保持角度和相对形状,但不保持绝对距离。当物体基本可视为刚体、但其成像尺度不同时,这类模型很有用。
仿射变换
仿射变换的形式为
它允许平移、旋转、缩放和剪切。一般的仿射模型在二维空间中有六个参数,在三维空间中有十二个参数。它保持直线和平行关系,但通常不保持长度或角度。
仿射配准常用于为更灵活的对齐方法提供全局初始化。不过,它无法表示任意的透视效应或局部形状变化。
投影变换
对于平面场景,或相机绕同一投影中心旋转所形成的图像,在理想针孔相机模型下,可以用单应变换描述图像之间的映射:
其中使用齐次坐标,等式允许相差一个非零尺度因子。
对于相机位置发生平移时观测到的完整三维场景,单个单应变换通常无法将其完全对齐。不同深度的物体会呈现不同的表观位移,从而产生视差。
可变形变换
可变形配准、非刚性配准或弹性配准允许运动随空间位置而变化。一种位移场表示为
其中, 给出每个位置处的位移向量。
常见的表示包括样条控制网格、薄板样条、稠密位移场,以及用于构造变换的速度场。物理模型可以描述弹性或类流体行为;另一些方法则采用数学上的平滑性约束,而不赋予其物理解释。
微分同胚配准寻求光滑、可逆且逆变换也光滑的变换。在连续模型中,这类变换保持拓扑结构并防止折叠。数值离散化和具体实现仍需检查,而且保持拓扑结构并非适用于所有情形:真实场景中可能出现新结构、撕裂,或其他无法用连续可逆映射表示的变化。
用于对齐的依据
基于标志点和特征的配准
基于特征的方法识别对应结构,并根据其坐标估计变换。特征可以包括人工标注的标志点、角点、斑点、轮廓、血管分叉点或几何表面。
典型流程是通过特征提取检测并描述具有辨识度的区域,在图像之间匹配描述子,剔除不一致的匹配,再拟合变换。随机抽样一致性通常简称 RANSAC,广泛用于在存在错误对应关系时估计模型。
这些方法能够处理较大的初始位移,而且不必假设对应像素具有相同的强度。不过,其精度仍取决于特征定位、描述子的鲁棒性以及匹配点的空间分布。重复图案和纹理不足的区域可能使对应关系产生歧义。
点集配准与此密切相关。迭代最近点算法交替进行邻近点对应分配和变换估计,但通常需要足够好的初始化以及适当的重叠范围。
基于强度的配准
基于强度的方法直接比较图像数值,通常使用重叠区域中的大量或全部像素。
常见的相似性度量包括:
- 差值平方和:适用于对应位置的强度应近似相等的情形。
- 互相关:适用于强度关系近似线性的情形;局部归一化变体能够适应随空间位置变化的强度差异。
- 互信息:衡量对应位置强度之间的统计依赖关系,广泛用于多模态配准。
- 鲁棒描述子或模态无关描述子:比较局部结构模式,而非原始强度。
互信息不要求同一结构在两幅图像中具有相同的亮度。不过,其估计结果取决于采样、重叠范围以及统计估计方法的选择,而且优化互信息并不保证得到正确的解剖或几何对应关系。
频域技术提供了另一种途径。相位相关利用傅里叶域中的关系估计平移,并可借助其他表示方式扩展到旋转和尺度估计。
混合方法
混合方法结合多种依据。标志点对应关系可为基于强度的精细配准提供初始化,而掩膜、边缘、表面或语义标签可用于约束可变形变换。
图像分割可以分离出相关对象,或排除不应影响对齐的区域。此时,配准质量也部分取决于这些分割结果的可靠性。
配准流程
常规流程包括以下阶段:
- 预处理。 对图像进行去噪、强度归一化、掩膜处理,或校正已知的采集畸变,并检查其坐标约定和物理几何信息。
- 初始化。 初始变换可以来自图像中心、采集元数据、标志点、特征匹配或粗略的全局搜索。
- 选择模型和目标函数。 根据预期的几何差异和外观差异,选择变换族、相似性度量和约束。
- 优化。 调整变换参数以改善对齐效果。
- 重采样。 在输出网格上计算浮动图像的取值。
- 验证。 尽可能独立评估对应关系的精度和变换的合理性。
多分辨率优化
配准目标函数通常存在许多局部最优解。由粗到细的图像金字塔策略首先对齐降采样后的图像,再在逐步提高的分辨率上细化变换。粗尺度能够降低对细节的敏感性,并扩大可有效恢复的位移范围。
这一策略并不能消除歧义。大幅降采样可能去除细小但重要的结构,而粗尺度上的不良结果可能传递到更精细的层级。
插值与重采样
变换后的坐标很少恰好落在输入采样网格上,因此重采样需要插值。最近邻插值、线性插值和高阶样条插值的计算开销及其对图像外观的影响各不相同。
最近邻插值能够保留离散标签值,而将数值标签编号当作连续强度进行插值,则可能产生没有意义的中间标签。反复重采样可能使图像模糊或引入伪影。将多个变换复合后只重采样一次,通常可以减少此类退化。
降低图像分辨率时,还需要适当滤波以抑制混叠。
约束与正则化
灵活的变换模型可能在对齐图像强度的同时,产生不合理的几何形变。正则化通过引入对可接受变换的假设来限制这种行为。
一种简单的平滑性惩罚为
它抑制位移在空间上的快速变化。其他惩罚项则约束曲率、体积变化、应变,或对指定物理模型的偏离。
对于可微变换,其雅可比矩阵的行列式描述局部体积缩放。大于一的值表示局部膨胀,介于零和一之间的值表示收缩。行列式为零表示局部奇异。对于要求连续保持定向的变换,非正值意味着违反了这一要求。
平滑并不等于正确。过强的正则化可能抑制真实运动,而正则化不足则可能允许不现实的形变。一些应用需要不连续性,例如相邻结构之间的滑动,而全局平滑模型可能难以准确表示这种情况。
基于学习的配准
深度学习方法可以预测变换参数、位移场,或供配准优化器使用的特征。训练完成后,网络生成对齐结果的速度可能远快于传统迭代过程。
在监督学习中,训练目标可以包括已知变换、已标注的标志点或合成形变。在自监督配准中,网络通常使用图像相似性项和形变惩罚项进行优化,而不依赖参考变换场。“无监督配准”这一术语也广泛用于指代这种设置。
卷积神经网络通常采用类似于 U-Net网络的架构,可以处理一对图像并预测稠密场。可微的图像变形操作使对齐损失能够通过反向传播影响网络。其他架构则使用注意力机制,或将学习组件与显式优化相结合。
训练并不能消除几何歧义,也不能保证变换合理。在出现分布偏移时,例如传感器、采集协议或图像内容发生变化,性能可能下降。评估时还必须避免数据泄漏(机器学习),包括训练集和测试集中存在相互关联的受试者数据或序列重叠的情况。
应用与相关问题
主要应用领域包括:
- 医学成像: 对齐不同时间或不同模态的扫描图像,包括磁共振成像,迁移解剖标签,以及将图像映射到参考图谱。
- 遥感: 对齐航空和卫星图像,用于制图、多光谱比较和变化检测。
- 摄影与视频: 全景图构建、稳像、曝光融合以及连拍图像对齐。
- 显微成像: 对齐组织切片、重复观测结果或不同成像通道。
- 天文学: 合并多次曝光,并比较不同时间获取的观测结果。
- 工业检测: 将采集图像与参考图像或几何模型进行比较。
配准不同于图像融合,后者是在对齐之后组合信息。配准也不等同于变化检测:如果模型过于灵活,配准算法可能错误地通过形变消除真实变化。
光流估计图像之间的表观运动,通常针对连续视频帧。它与稠密配准在数学上存在重叠,但往往更强调时间上的运动和可见性约束。同时定位与地图构建估计传感器位姿和场景地图;配准可以是其中的一个组成部分。
评估与局限
不能仅凭视觉外观或优化后的相似性得分来判定配准质量。某种方法可能改善了目标函数值,却匹配了错误的结构。
常见的评估方法包括:
- 标志点误差: 独立确定的对应标志点在变换后的距离。目标配准误差在评估用标志点处测量;用于拟合变换的标志点处残差很小,并不能证明其他位置也准确。
- 区域重叠: 对应标签之间的一致程度,使用 Dice 相似系数或交并比等统计量衡量。
- 表面距离: 对应边界之间的间隔,包括平均距离或最大距离等度量。
- 变换检查: 检查局部体积变化、折叠、逆一致性,以及是否符合已知几何约束。
- 基于任务的评估: 判断对齐结果能否支持预期的下游测量或分析。
每种度量反映的性质不同。较高的区域重叠度可能掩盖局部边界误差。逆一致性能够发现某些缺陷,但不能证明对应关系正确。稀疏标志点对于远离其位置处的误差,只能提供很少的信息。
重要的失效条件包括重叠范围有限、遮挡、重复纹理、低对比度、显著的透视差异、传感器畸变,以及仅存在于一幅图像中的结构。多模态图像未必在每个区域都具有可直接对应的外观。更根本地说,对于均匀或重复的图像区域,可能存在多个与现有观测同样吻合的变换。
因此,配准往往是一个欠定问题:必须将图像证据与关于几何、外观或物理行为的假设相结合。对应关系的不确定性,应与变换表示的数值精度加以区分。