U-Net 是一种最初为生物医学图像分割开发的人工神经网络架构。它将提取越来越抽象的图像特征的收缩路径,与重建具有丰富空间细节的预测结果的扩张路径结合起来。对应阶段之间的连接将高分辨率特征直接传递到扩张路径。这种整体呈 U 形的结构正是其名称的由来。U-Net 于 2015 年提出,随后成为计算机视觉领域中具有重要影响的架构设计,并成为许多分割与图像生成系统的基础。
起源与目的
Olaf Ronneberger、Philipp Fischer 和 Thomas Brox 在 2015 年的论文《U-Net:用于生物医学图像分割的卷积网络》中提出了 U-Net,该论文发表于医学图像计算与计算机辅助干预国际会议。
这一架构旨在解决显微成像中的一个常见问题:在只有少量标注图像的情况下,为图像中的每个位置分配类别。传统的图像分类为整幅图像生成一个标签,而分割则需要在空间上逐位置给出预测,并且往往需要准确区分细小结构或相互接触结构之间的边界。
U-Net 以全卷积网络方法为基础,用密集预测取代图像级分类。其独特设计将规模较大的扩张路径与多个分辨率下编码器特征的直接传递相结合。原始研究还强调了大量使用数据增强的重要性,尤其是适合生物图像的弹性形变。
尽管 U-Net 最初与生物医学成像密切相关,但它是一种架构模式,而非局限于某种特定组织、成像模态或应用的模型。
架构
U-Net 是一种采用编码器—解码器架构组织的卷积神经网络。其主要组成部分包括编码器、瓶颈、解码器,以及连接编码器与解码器对应阶段的连接。
收缩路径
编码器反复执行卷积运算和非线性激活函数运算,并在其间进行下采样。在原始架构中,每个阶段先使用两个不加填充的 卷积,配合修正线性单元,再通过 最大池化进行下采样。
随着空间分辨率降低,特征通道数逐渐增加。较浅的阶段保留边缘和局部纹理等精细结构;较深的阶段则整合更大图像区域内的信息,表示更抽象的模式。
下采样使整合更广范围的上下文在计算上切实可行,但也会丢失空间细节。解码器和跨路径连接用于弥补这种损失。
瓶颈与扩张路径
瓶颈是网络中分辨率最低的部分,连接收缩路径与扩张路径。其特征包含了编码器逐步积累的上下文信息。
解码器逐步提高空间分辨率。在原始 U-Net 中,每个扩张阶段先对输入进行上采样并应用一个 “上卷积”,再将结果与对应的编码器特征图拼接,最后执行两个 卷积。
后来的实现通常使用转置卷积,或先插值再卷积的方式进行上采样。这些选择会影响计算成本和重建伪影,但不会改变编码器—解码器这一核心原理。
跳跃连接
U-Net 的标志性特征是将编码器特征传递给分辨率相匹配的解码器阶段。解码器的一个阶段可概略表示为
其中, 是编码器特征图, 是分辨率较低的解码器表示, 是通过学习得到的卷积块。拼接之前,特征图必须具有相容的空间尺寸。
这些连接将浅层提供的精确定位信息与深层提供的上下文信息相结合,也为反向传播过程中的梯度传播提供了额外路径。
原始 U-Net 沿通道维度拼接特征图。这与残差连接通常采用的逐元素相加不同,不过后来的网络也可能同时使用这两种机制。
输出层与空间尺寸
最后一个 卷积将解码器特征映射为所需的输出通道。对于互斥类别,通常使用 softmax 运算生成每个像素上的类别分布。二值分割则常使用单个输出通道,并配合 sigmoid 激活函数。
原始网络使用不加填充的卷积,因此中间特征图会逐渐缩小。编码器特征由此需要先裁剪再拼接,预测区域也小于输入区域:论文公布的架构将 的输入映射为 的输出。
许多现代实现改用填充,以保持卷积块内部的空间尺寸。因此,输入与输出尺寸相同的情况很常见,但这并不是 U-Net 的定义性特征。
训练与评估
监督与目标函数
用于分割的 U-Net 通常采用监督学习进行训练,使用与逐像素或逐体素标注配对的图像。网络学习从输入图像 到密集预测 的映射。
一种常见的损失函数是加权逐像素交叉熵:
其中, 是已标注位置的集合, 是目标类别, 是该类别的预测概率, 是可选的权重。
原始 U-Net 使用了一种突出相互接触物体之间边界的加权方案,帮助网络学会分离相邻细胞。
基于重叠程度的目标函数也很常见。对于二值目标,软 Dice 损失的一种形式为
其中, 是预测的前景概率,, 用于保证表达式的数值稳定性。具体实现有所不同,Dice 类目标函数也经常与交叉熵结合使用。
有限数据与数据增强
U-Net 并未消除对具有代表性的训练数据的需求。它最初能够在标注图像相对较少的情况下取得成功,部分依赖于数据增强,以及卷积滤波器在图像不同位置上的复用。
旋转、镜像翻转、强度变换和弹性形变,只要不改变标注的含义,就能有效扩展训练数据的分布。然而,小型数据集仍然容易发生过拟合,尤其是在图像之间存在较强相关性时。
评估
分割性能通常使用 Dice 分数和交并比来衡量。当轮廓精度很重要时,基于边界的度量也可能十分关键。如果大多数像素都属于背景,仅看像素准确率可能会产生误导。
评估结果还取决于数据集的划分方式。如果将相关图像块、相邻切片或来自同一受试者的图像同时放入训练集和测试集,就可能造成数据泄漏(机器学习),使表观性能虚高。按受试者、采集批次或采集地点划分数据,能够更有意义地估计模型的泛化(机器学习)能力。
主要变体
三维 U-Net 用三维体数据运算取代二维运算。它能够利用容积成像中不同切片之间的关联,但存储三维特征图会大幅增加内存需求。
残差 U-Net 在编码器、解码器或两者中引入残差块。这些残差块改变了各阶段内部的处理方式,同时保留多尺度编码器—解码器结构。
注意力 U-Net 使用注意力机制调节特征,通常将其用于跳跃连接路径。这样,特征传递就可以根据输入进行调整,而不是将所有编码器特征原封不动地传递过去。
U-Net++ 在编码器与解码器各阶段之间引入嵌套的密集连接路径。其间的处理旨在缩小待融合特征之间的表示差异。
nnU-Net 是一个可自配置的分割框架,而不只是一个新的网络模块。它根据数据集的特性,自动确定预处理、架构配置、训练和后处理中的重要选项。
Transformer–U-Net 混合架构 将 U 形多尺度处理与 Transformer架构相结合。有些使用 Transformer 编码器搭配卷积解码器;另一些则在整个编码器—解码器层级中安排基于注意力的处理阶段。它们采用的运算可能与原始卷积 U-Net 有很大不同。
原始任务之外的应用
U-Net 广泛用于语义分割,即为每个位置赋予一个类别标签。应用领域包括显微成像、三维生物医学图像、卫星影像、工业检测和文档分析。
标准的语义分割 U-Net 并不会自动实现实例分割:将所有细胞像素都标为“细胞”,并不能分别识别每一个细胞。为此还需要额外的输出或处理,例如边界预测或物体分离流程。
U 形网络也可用于图像去噪、复原、重建及其他图像到图像的变换。在这些任务中,输出可能是连续取值的像素,而非类别概率。
在扩散模型中,类似 U-Net 的网络经常充当去噪器。它们将带噪图像或潜在表示与扩散时间步一起处理;在条件系统中,还会处理额外的条件信息。这类网络通常会加入残差块、时间步嵌入和注意力机制。以文本为条件的系统可能使用交叉注意力来融入文本表示。其输出可以用于参数化表示噪声、干净样本或其他与扩散相关的目标,而不一定是分割图。
优势与局限
U-Net 的主要优势在于将多尺度上下文与高分辨率定位相结合。其设计具有模块化特点,支持密集输出,并能适应不同的数据维度和预测目标。
其局限包括:
- 内存消耗。 高分辨率编码器特征必须保留下来,供解码器拼接使用。对于三维体数据输入,这一成本尤其高。
- 长距离交互有限。 卷积 U-Net 通过连续运算汇集上下文,但与某些基于注意力的架构相比,相距较远的区域之间的交互不够直接。
- 对领域变化敏感。 传感器、采集规程、图像外观或标注惯例的差异可能造成分布偏移,从而降低准确性。
- 依赖标注与目标函数。 边界模糊、标签不一致以及严重的类别不平衡,都会影响训练与评估。
- 采样伪影。 下采样可能丢失细小结构,而某些上采样算子可能引入具有规律图案的伪影。跳跃连接并不能保证恢复所有丢失的细节。
由于“U-Net”如今已涵盖一个庞大的架构家族,要进行有意义的比较,就必须明确编码器、数据维度、填充方式、跳跃连接的融合方式、训练流程及评估方案,而不能仅凭架构名称作出判断。