图像分割是将数字图像划分为若干区域的过程,这些区域对应于对象、对象的组成部分、材料或其他有意义的结构。图像分类为整幅图像赋予一个标签,目标检测通常通过边界框定位对象,而图像分割则在单个像素层面确定对象所占的空间范围。其输出可以是前景掩膜、语义类别图、一组对象实例掩膜,也可以是基于视觉相似性得到的不带标签的区域划分。
图像分割是计算机视觉中的核心问题,因为许多图像理解任务不仅需要知道图像中有什么,还需要准确知道它们在哪里。它可用于器官和细胞测量、道路和地表覆盖制图、机器人场景理解、工业检测以及图像的选择性编辑。这一问题的难点在于,可见边界并不总是与对象边界重合:阴影可能将同一个表面分成不同区域,而两个相互接触的对象可能具有几乎相同的外观。
图像分割方法涵盖了从基于强度的阈值法、几何模型,到使用标注图像训练的大型深度学习系统。尽管方法各异,核心问题始终是:如何定义有意义的区域,如何将局部线索与更大范围的上下文相结合,以及如何评估所得的边界和标签。
问题形式化与主要任务
对于二维图像,设 为像素位置的集合, 表示图像的各测量通道,例如三个颜色分量。分割可以表示为一个标记函数:
每个标签标识一个区域或类别。在严格的划分中,得到的各区域互不相交,并覆盖整幅图像。实际系统则可能不为不确定的像素分配标签,生成相互重叠的候选掩膜,或给出概率而非最终标签。对于三维图像,同样的形式化描述适用于体积元素,即体素;对于视频,标签还会随时间变化。
语义分割为每个像素分配一个类别,例如道路、建筑、植被或人。同一类别的不同对象通常会获得相同的标签。实例分割则区分各个独立对象:相邻的两个人虽然都属于“人”这一类别,却会获得不同的实例标识符。这些标识符是任意指定的;交换两个对象的数字标识符并不会改变分割结果。因此,实例预测在一定程度上是一个分组问题,而不只是逐像素分类问题。
全景分割将语义层面的全面覆盖与实例层面的对象区分结合起来。它区分汽车、人等可计数的“个体对象”,以及天空、草地等没有固定形态的“背景类区域”。每个已标记像素都会获得一个语义类别,而属于个体对象的像素还会获得一个实例标识符。生成二值前景—背景掩膜是一项更简单的任务,但其含义仍取决于应用场景:前景可以指选定的某个人、所有运动对象,或某种特定类型的组织。
并非所有分割都以识别语义类别为目标。超像素方法将邻近像素组合成视觉上连贯的小区域,从而简化后续处理。另一方面,部件分割可以将已识别的对象细分为组成部分,例如车辆的车轮和车身。全模态分割估计对象的完整范围,包括被遮挡的部分;普通的可见掩膜分割则只描述观测到的表面。
因此,期望得到的分割结果不仅取决于图像证据,也取决于标注约定。透明容器、反射影像、透过围栏看到的对象,以及部分被遮挡的动物,都需要明确的标注规则。分割也不同于图像抠图:抠图估计毛发、烟雾等边界处的部分不透明度,而硬分割则为像素赋予离散的归属。软类别概率表达的是对标签的不确定性,并不一定对应物理上的不透明度。
阈值、区域与形态学方法
许多早期提出、至今仍广泛使用的方法,将分割视为识别具有相似测量属性的区域。阈值分割是其中最简单的例子。对于灰度图像,可以定义一个二值掩膜:当 时,,否则 。当前景与背景分别处于不同的灰度范围时,这种方法效果良好,例如在受控条件下采集的工业图像或染色标本图像中。当光照不均或灰度分布相互重叠时,这种方法就不再可靠。
大津法由大津展之于1979年提出,通过最大化两组灰度的类间方差来选择阈值。若两组的概率分别为 ,平均灰度分别为 ,则其判据为
这种方法无须手动选择灰度阈值,但其统计判据并不能保证所得类别对应有意义的对象。相比之下,自适应阈值分割根据局部邻域计算阈值,因此更适合光照不均的图像,例如拍摄得到的文档图像。
区域生长方法从种子像素出发,将满足相似性规则的相邻像素逐步加入区域。区域分裂与合并则采用相反的过程,或将两种过程结合起来:拆分内部不均一的区域,并合并符合条件的相邻区域。这些方法的结果取决于相似性度量、邻域定义、处理顺序和停止准则。K均值聚类可以根据颜色或其他特征对像素进行分组,但如果没有空间约束,它可能会将相距很远、彼此不连通的像素分到同一簇中。在特征向量中加入位置信息有助于形成紧凑的区域,但也引入了一个用于平衡外观与距离的尺度参数。
分水岭分割将从图像中导出的标量场(通常是梯度幅值)视为地形表面。集水盆地形成区域,分隔盆地的山脊则形成边界。微小的波动就可能导致严重的过度分割。标记控制分水岭算法利用选定的前景和背景标记约束这一过程,因此在能够获得可靠的对象内部标记时,适合用于分离相互接触的对象。对于近似圆形的对象,距离变换中的峰值可以提供这样的标记。
数学形态学使用结构元素修改掩膜。腐蚀使前景集合收缩,膨胀使其扩张,开运算可以去除细小凸起或孤立对象,闭运算则可以连接狭窄间隙。随后,连通分量分析按照选定的邻域规则识别各个连通区域。这些操作是实际图像处理流程中的重要组成部分,但它们也隐含了几何假设。能够去除噪声的结构元素,也可能抹去真实存在的细小血管;闭运算则可能错误地将相邻对象连接起来。
基于图的方法与变分表述
基于图的方法将图像元素表示为由加权边连接的节点。节点可以对应像素或超像素,边权则表示相似性、空间邻接关系或边界证据。图像分割由此转化为标签分配或图划分问题。这种表述使局部测量能够与全局约束相互作用,而不必对每个像素独立分类。
一种常见的目标函数形式为
其中, 衡量将标签 分配给像素 的代价, 指定相邻像素对, 则控制在两者之间设置边界的惩罚强度。对视觉上相似的相邻像素施加强惩罚,有助于形成连贯的区域;在图像变化剧烈的位置施加较弱的惩罚,则允许边界出现。参数 用于权衡与图像的一致性和空间平滑性。
对于某些二元目标函数,可以通过最小割/最大流构造,利用最小图割求得精确的全局最优解。对于更一般的标签集合和相互作用,则需要额外条件或采用近似优化。卡斯滕·罗瑟(Carsten Rother)、弗拉基米尔·科尔莫戈罗夫(Vladimir Kolmogorov)和安德鲁·布莱克(Andrew Blake)于2004年提出了 GrabCut,将迭代颜色建模与图割优化相结合,用于交互式前景提取。用户提供的矩形框确定初始前景区域,随后可通过进一步交互纠正错误。这一例子说明,少量人工输入就能消除仅凭外观无法解决的歧义。
由施剑波(Jianbo Shi)和吉滕德拉·马利克(Jitendra Malik)开发、于2000年发表的归一化割,将分割视为图划分问题。其目标函数对不同组之间的分离施加惩罚,同时根据各组与整个图的连接情况进行归一化,从而避免产生将极小节点集孤立出来的平凡割。近似求解利用了图矩阵的谱性质。该方法有助于建立图像分组、聚类与全局优化之间的联系,但构建和求解大规模图问题可能需要较高的计算开销。
变分方法对边界或连续场进行优化。1989年提出的 Mumford–Shah 模型,在惩罚不连续边界长度的同时,寻求图像的分片光滑近似。迈克尔·卡斯(Michael Kass)、安德鲁·维特金(Andrew Witkin)和德米特里·特尔佐普洛斯(Demetri Terzopoulos)于1988年以“蛇模型”之名提出了主动轮廓模型,在曲线的内部规整性与图像导出的作用力之间取得平衡。水平集表述以隐式方式表示轮廓,允许区域分裂与合并。基于区域的主动轮廓模型,例如2001年的 Chan–Vese 模型,无须每处边界都存在较强的图像梯度,也能进行分割。
概率图模型为空间一致性提供了另一种解释。条件随机场以图像观测为条件,对标签之间的依赖关系建模。这类模型既被用作主要的分割系统,也被用于细化神经网络的预测结果。其主要局限也正是其优势所在:平滑性、连通性和外观假设都是明确设定的,因此,当真实场景不符合这些假设时,往往就会产生错误。
用于稠密语义预测的深度网络
卷积神经网络的兴起,使图像分割从以人工设计特征为主的处理流程,转向联合学习视觉表征与稠密预测的方式。分类网络通常通过降低空间分辨率来提取越来越抽象的特征。图像分割则需要从这些特征中恢复空间细节丰富的输出,同时保留区分视觉上相似类别所需的上下文信息。
Jonathan Long、Evan Shelhamer 和 Trevor Darrell 于 2015 年发表的全卷积网络研究,展示了如何将分类网络改造为端到端的稠密标注网络。用卷积运算替换固定尺寸的分类层后,网络便能生成空间得分图。上采样用于恢复输出分辨率,跳跃连接则将粗粒度的语义特征与较早层中更精细的特征相结合。这种方法避免了围绕每个像素提取大块、彼此重叠的图像块并逐一分类。
编码器—解码器架构明确体现了这种分工。编码器逐步提取包含更多上下文信息的特征,解码器则重建具有丰富空间细节的预测结果。Olaf Ronneberger、Philipp Fischer 和 Thomas Brox 于 2015 年提出的 U-Net网络采用近似对称的收缩与扩张架构,并在分辨率相对应的层之间设置跳跃连接。其在生物医学领域的应用展示了将精确定位与学习到的上下文相结合的价值,尤其是在标注数据有限、需要大量采用数据增强的情况下。三维变体将类似原理应用于体数据。
其他架构则侧重于感受野的大小与多样性。空洞卷积又称膨胀卷积,通过在卷积核采样点之间引入间隔来扩大感受野,而无须相应增加可学习的卷积核参数。DeepLab 系统将这一思路与多尺度处理相结合;空洞空间金字塔池化采用多种膨胀率,捕捉不同尺度的上下文。金字塔池化同样通过在不同大小的区域内聚合特征来实现这一目的。例如,这些机制可以利用周围的结构信息,将一小块道路与视觉上相似的屋顶区分开来。
较新的系统采用包括视觉Transformer在内的 Transformer架构来建模更长距离的关系。自注意力使某一位置的特征能够与其他位置的特征交互,而分层设计和窗口化设计则用于控制计算成本。有些模型预测的是一组掩膜及其对应类别,而不是仅将每个像素视为独立的分类输出。这些设计也在语义分割、实例分割和全景分割之间建立了架构上的联系。
网络通常为每个输出位置生成得分或概率分布,随后进行上采样和标签选择。准确率高并不意味着边界精确:下采样、插值、类别不平衡以及训练样本有限,都可能导致细长结构或小物体在预测中被弱化甚至丢失。因此,架构、训练目标和图像分辨率共同决定了模型能够保留哪些空间细节。
区分对象实例与统一场景标注
实例分割必须解决两个相互关联的问题:哪些像素属于某个对象,以及每个像素属于哪一个对象。仅靠逐像素的语义分类,无法区分相互接触的同类对象。有效的系统需要以某种方式表示对象身份,例如利用候选区域、中心点、嵌入向量、查询或显式分组规则。
基于候选区域的系统首先定位候选对象,然后为每个候选对象预测掩码。何恺明及其同事于 2017 年提出的 Mask R-CNN,在基于区域的检测系统中加入了一个并行的掩码预测分支。其 RoIAlign 操作在采样区域特征时,避免了早期池化方法采用的粗粒度坐标量化,从而改善了图像位置与掩码预测之间的对齐效果。掩码分支预测每个候选区域内各空间位置是否属于前景,其他独立分支则分别负责对象分类和边界框细化。
这种分解方式明确建立了每个检测结果与其掩码之间的对应关系,但也会受到检测错误的影响。漏掉的候选区域无法产生正确的实例掩码,而高度重叠的对象也可能难以分离。计算量还可能随候选区域数量的增加而上升。其他系统则更直接地预测掩码、生成实例专属的滤波器,或利用预测的中心点和偏移量对像素进行分组。基于嵌入的方法学习特征向量,使同一实例的像素在特征空间中彼此靠近,同时让不同实例的像素相互分离。
集合预测方法维护一组对象查询或掩码查询。训练时,通常通过二分图匹配过程,将预测输出与标注目标进行匹配。这解决了实例标识符本身没有固有顺序的问题:第一个预测掩码不必对应第一个标注对象。未匹配的预测可以按“无对象”进行训练。基于掩码的 Transformer 架构已将这一范式扩展到多种分割任务,而不必为每种任务设计完全独立的输出形式。
全景分割进一步要求最终可见场景的标注保持一致。普通实例分割系统可能输出相互重叠的掩码,而标准全景分割图只将每个像素分配给一个最终分割区域。因此,系统必须消解重叠,整合可数对象与不可数背景区域的预测,并在区分实例有实际意义时,对相应类别采用不同的处理方式。亚历山大·基里洛夫及其同事提出的全景分割范式,将这些要求纳入了统一的任务与评估框架。
拥挤场景暴露了可见信息的局限。一个掩码可能在几何形状上十分准确,却被分配给了错误的实例;一个语义正确的区域也可能将多个人合并在一起。如何约定遮挡部分的处理方式同样重要:可见实例掩码不包含被遮挡的表面,而无模态方法则会推断这些表面。视频还要求跨帧保持身份一致,将单幅图像中的掩码串联为轨迹,并要求系统在对象消失后重新出现时避免发生身份切换。
标注、监督与训练目标
密集标注的成本很高,因为一张图像可能包含许多物体,且边界十分复杂。标注人员会使用多边形、画笔工具、交互式模型或三维轮廓勾画界面。最终得到的标签取决于如何处理遮挡、反射、狭窄间隙、不确定边缘以及物体最小尺寸等问题的规则。因此,训练数据不仅包含视觉样例,也体现了任务的操作性定义。两个标注质量都很高的数据集,也可能因为标注规范不同而存在分歧。
在监督学习中,逐像素交叉熵是一种常见的目标函数。若 表示参考类别, 表示像素 属于类别 的预测概率,则
除非通过附加项引入空间结构,否则该损失将不同像素上的误差视为彼此独立的项。类别加权可以减轻常见类别对损失的主导作用。焦点损失会降低易分类样本的权重,而软 Dice 损失等基于重叠度的目标函数则直接强调区域的一致性。边界感知损失和拓扑感知损失关注的是普通逐像素目标函数可能无法保留的性质。
数据增强让模型接触裁剪、镜像翻转、亮度变化和几何形变等变换。变换是否有效取决于具体任务:旋转可能不改变细胞的类别,却可能改变文字朝向所表达的含义。图像与掩膜必须进行相应的几何变换,插值规则也必须遵循类别标签的性质。在三维成像中,切片之间的物理间距也会影响某种形变是否合理。
弱监督通过使用图像级标签、边界框、点或涂鸦标注,降低对标注的要求。这些标注提供的精确边界信息较少,因此相关方法更依赖学得的先验,以及从稀疏约束出发的信息传播。半监督学习结合有标签和无标签图像,通常采用伪标签,或要求模型在扰动下保持预测一致。如果不考虑预测实际上是否正确,就将高置信度预测视为可靠结果,伪标签方法可能会强化系统性错误。
自监督学习和迁移学习可以在获得密集标签之前提供有用的表征。随后,可以通过微调或轻量级的任务专用组件来适配大型预训练模型。然而,预训练并不能消除成像方式、类别定义或尺度上的差异。从日常照片中学到的特征,可能需要经过大幅调整,才能适用于电子显微图像、热成像图像或多光谱卫星数据。
数据集的划分尤其重要,因为相邻像素、相邻视频帧或同一受试者的图像切片之间具有高度相关性。将这些数据随机分配到训练集和评估集中,可能造成数据泄漏(机器学习)。要衡量模型对真正独立样例的泛化(机器学习)能力,通常需要按患者、场景、地理区域或时间进行划分。
交互式、可提示式与视频分割
交互式分割将用户输入视为任务定义的一部分。正向点击可以指明目标物体,负向点击可以排除不需要的区域,边界框则可以设定空间约束。经典的图方法工具与现代神经网络模型遵循同一原则:少量交互能够提供仅凭图像本身可能无法推断的信息。其目标不仅是自动分割的准确性,更是以尽可能少的修正操作获得准确的掩码。
可提示式模型将交互能力推广到众多图像类别。亚历山大·基里洛夫及其同事于 2023 年提出的分割一切模型结合了图像编码器、提示编码器和掩码解码器。配套的 SA-1B 数据集包含约 1100 万张图像和 11 亿个掩码。计算开销较大的图像表示只需计算一次,即可供多个提示重复使用,而掩码解码器则能较快地生成候选掩码。当一次点击既可能指向某个局部,也可能指向整个物体或更大的物体组合时,多个输出有助于表达这种歧义。
可提示式掩码生成器并不天然等同于语义识别系统。它可能勾勒出物体的轮廓,却无法说出物体的名称;空间提示也不能保证生成的掩码符合特定应用所要求的类别定义。以文本为条件的系统引入了与自然语言处理和多模态学习的联系,允许用户通过类别名称或指代表达等方式提出请求。这类系统必须同时解析语言指代和空间边界;理解“盘子旁边的杯子”需要关系理解能力,而不只是识别杯子。
视频分割引入了时间连续性。有些任务从第一帧中的掩码开始,将其传播到后续帧;另一些任务则在整个序列中自动检测并分割物体。光流可以通过估计图像运动来传递信息,但遮挡、快速运动、运动模糊以及新显露的表面都会增加传播的难度。基于记忆的模型存储较早帧中的特征,并在处理后续帧时检索这些特征。2024 年推出的 Segment Anything 2 采用流式记忆架构,将可提示式分割扩展到图像和视频。
时间一致性并不只是逐帧准确性。模型可能在单帧中生成质量良好的掩码,却在帧间发生物体身份切换、边界闪烁,或将跟踪目标漂移到附近的物体上。长期跟踪还需要区分物体消失与跟踪失败:物体被遮挡时,不应直接将其归入可见背景或另一个相似物体。
因此,交互式评估衡量的不只是单次预测后的重叠程度。相关指标包括达到目标准确率所需的点击次数、响应延迟、收到修正提示后的恢复能力,以及在长序列上的表现。评估方案必须明确提示的生成方式,因为人类精心选择的提示与自动模拟的点击可能产生不同的结果。
评估指标与基准设计
分割质量包含多个维度:类别分配是否正确、区域重叠程度、边界精度、实例区分,以及在相关任务中对目标身份的跨时间保持。没有任何单一指标能够涵盖所有这些维度。像素准确率易于计算,但当某个类别占据绝大多数像素时,可能产生误导。如果目标仅占图像的 1%,将所有像素都预测为背景也能得到 99% 的像素准确率,却完全没有检测出目标。
最常用的重叠度量是交并比(IoU),也称 Jaccard 指数。对于预测区域 和参考区域 ,
语义分割基准通常报告各类别的平均 IoU。结果取决于纳入了哪些类别、是否忽略未标注像素,以及如何汇总计数。根据整个数据集的汇总计数计算 IoU,并不等同于对逐图计算的 IoU 取平均,尤其是在物体大小差异很大时。
Dice 系数定义为
对于非空的二值区域,Dice 与 IoU 的关系为 ,因此在比较条件固定时,两者对预测结果给出的排序相同。不过,它们的数值并不相同。当预测区域和参考区域均为空时,两者都需要明确规定如何处理。在三维体积分析中,仅用重叠得分可能会掩盖较大的局部边界误差。
边界指标弥补了这一局限。边界精确率和召回率在指定的容差范围内比较轮廓。豪斯多夫距离衡量边界点到另一边界最近点的距离中的最大值,对孤立离群点较为敏感;采用百分位数的变体可以降低这种敏感性。平均表面距离则衡量几何一致性的另一个方面。当像素或体素在不同方向上的间距不相等时,以物理单位表示距离十分重要。
实例分割基准通常根据掩膜 IoU 和按置信度排序的预测结果计算平均精确率。COCO 评估在 0.50 至 0.95 之间、以 0.05 为步长选取 IoU 阈值,并对各阈值下的结果取平均,因此既奖励正确检测,也奖励精确的掩膜定位。全景质量将匹配分割区域的重叠度与识别项相结合,后者对漏检和误检的分割区域施加惩罚。视频基准还会衡量跨时间的关联能力。
基准数据集也决定了评估的具体内容。PASCAL VOC 推动了常见物体类别语义分割的标准化;Cityscapes 侧重城市街景;COCO 支持实例分割和全景分割任务;ADE20K 则涵盖多样化的场景和众多语义类别。在这些不同设置下,得分不能直接比较。要理解方法之间的差异,必须采用独立的测试集、固定的预处理流程、明确的类别映射,并按物体大小或场景条件分别报告结果。
科研、工业与创意领域的应用
在生物医学成像中,分割将图像中的强度信息转化为可供测量的结构。掩膜可用于估算器官体积、勾画解剖区域,或定量分析细胞和组织成分。磁共振成像说明了为什么这项任务并不等同于普通照片中的识别:图像对比度取决于采集设置,切片数据在不同方向上的间距可能不一致,而且仅凭强度信息可能难以明确界定边界。因此,三维上下文信息和一致的标注规范十分重要。
显微成像面临一组相关但又有所不同的问题。紧密排列的细胞往往需要被分离为独立实例,而细胞核可作为分水岭算法或通过学习得到的实例模型的标记。测量内容可包括细胞数量、面积分布、形状或掩膜内的荧光强度。分割误差会传递到这些测量结果中:将两个细胞合并会导致计数偏低、估算大小偏大,而将一个细胞拆分则会产生相反的影响。较高的像素重叠得分并不一定能保证生物学定量分析的准确性。
在遥感中,分割用于绘制土地覆盖、建筑物、道路、水体及其他地理要素的分布图。图像可能包含可见光以外的光谱波段,地面采样距离也可能存在显著差异。一条仅有几个像素宽的道路,虽然占总像素数的比例很小,却可能对路网连通性至关重要。季节变化、云层覆盖、传感器差异和区域差异都会造成显著的分布偏移。绘制随时间变化的地图时,还需要区分真实变化与配准或采集差异造成的表观变化。
机器人和自动驾驶系统利用分割来识别可通行表面、障碍物和场景结构。语义标签可与深度测量结果和几何地图相结合,而实例掩膜有助于区分彼此邻近的物体。性能要求不仅包括基准测试中的准确率,还涉及延迟、稳定性以及低能见度条件下的表现。分割通常只是大型感知系统的一个组成部分,而不是导航或决策的完整依据。
工业系统使用掩膜来测量制造零件、定位污染物和识别表面缺陷。在照明受控的条件下,简单的阈值分割在可预测性和成本方面可能优于更复杂的系统。当产品外观存在变化或缺陷结构复杂时,基于学习的方法就能发挥作用。由于缺陷样本可能很少,分割可以与异常检测相结合,而不只是作为常规的类别标注任务进行训练。
在摄影、电影和计算机图形学中,分割可用于背景替换、局部色彩调整、物体移除和图像合成。文档分析则利用区域掩膜来区分文本、表格、插图和页面结构。这些用途对边界的要求各不相同:粗略的物体掩膜或许足以满足检索需求,而要在头发边缘实现逼真的合成效果,通常还需要在分割之外进行抠图处理。
可靠性、计算约束与尚未解决的问题
图像分割仍然对训练条件与部署条件之间的差异十分敏感。即使实际场景没有变化,相机响应、光照、天气、图像压缩或采集设备的变化也可能改变预测结果。模型可能会利用对象通常所处环境等上下文关联,而不是依据界定对象的外观特征。因此,在熟悉的基准测试中表现出色,并不意味着模型在其他地点或使用其他传感器时也同样可靠。
有些歧义仅凭图像本身无法消除。模糊边缘可能对应多条合理的轮廓,而某一对象类别的边界也可能没有公认的统一界定。因此,标注分歧可能反映的是真实的不确定性,而非标注不认真。概率输出、多个候选掩码以及集成学习可以表征不确定性的某些方面,但置信度分数并不天然等同于经过校准的概率。在不熟悉的条件下,系统可能对错误的掩码也抱有很高的置信度。
全局结构是另一个长期存在的难题。逐像素损失和局部重叠度量并不能直接保证道路网络保持连通、血管不发生断裂,或两个相邻实例彼此分离。显式形状模型、图约束和拓扑感知目标函数试图将这些性质编码到模型中。然而,过强的先验也可能抑制罕见但真实存在的结构。如何在灵活的外观识别能力与可靠的几何约束之间取得平衡,仍是一个活跃的研究课题。
计算资源限制了能够以全分辨率处理的数据规模。对于一幅 图像,若每个像素都具有 个类别得分,仅输出就需要 的存储空间,还不包括中间特征。对 个图像词元进行全局注意力计算时,常规注意力矩阵包含 个元素。三维体数据进一步增加了内存需求,因此催生了分块处理、滑动窗口推理、层次化模型和窗口注意力等方法。如果没有精心设计重叠区域的预测融合与边界处理,分块处理可能产生拼接缝,或丢失上下文信息。
部署时通常会使用图形处理器、低精度运算、知识蒸馏或神经网络量化,以降低延迟和内存占用。这些变换对小对象和边界的影响可能与对大区域的影响不同。端到端耗时必须计入图像加载、预处理、数据传输、后处理和掩码拼接,而不能只计算神经网络的核心运算时间。
大型基础模型拓宽了单个系统能够处理的对象和提示的范围,但并未消除针对具体任务开展评估的必要性。开放式识别、陌生的科学图像、视频中对象身份的持续保持,以及对透明或严重遮挡对象的准确处理,仍然是难题。可靠性还取决于数据准备过程和模型版本是否可追溯:即使底层网络保持不变,重采样、标签转换或阈值选择上的细微变化,也可能改变最终掩码。