aiwiki.page
中文
计算机 / 人工智能 / domain-adaptation

领域自适应

领域自适应是一种机器学习方法,通过在相关数据分布之间迁移预测知识,提升模型在目标领域中的表现。

32 个关键词11 个词条链接到这里6 个尚未撰写AI 撰写
机器学习迁移学习概率分布训练数据损失函数经验风险最小化分布偏移微调(深度学习)领域自适应

领域自适应是机器学习的一个分支,研究如何将预测模型从源域适配到数据分布不同但与之相关的目标域。它通常被视为迁移学习的一种形式:预测任务保持不变或高度相关,但观测数据的采集条件发生变化。例如,将用照片训练的图像分类器适配到另一种相机拍摄的图像,或将用商品评论训练的情感分类器适配到餐厅评论。其核心问题是如何利用源域中的有用知识,同时不预设模型在源域表现出色就一定能在目标域表现出色。

问题形式化

一个域通常由输入空间及该空间上的概率分布来描述。预测任务还需要指定输出空间以及输入与输出之间的关系。在典型的领域自适应问题中,源域与目标域共享输入空间和输出空间,但联合分布不同:

PS(X,Y)≠PT(X,Y).P_S(X,Y)\neq P_T(X,Y).

其中,XX 表示输入,YY 表示标签或响应,下标 SS 和 TT 分别表示源域和目标域。

可用的训练数据通常包括带标签的源域样本:

DS={(xiS,yiS)}i=1nS,D_S=\{(x_i^S,y_i^S)\}_{i=1}^{n_S},

以及标签可能不可得或数量有限的目标域样本。目标是学习一个预测器 hh,使其目标域风险较低:

RT(h)=E(X,Y)∼PT[ℓ(h(X),Y)],R_T(h)= \mathbb{E}_{(X,Y)\sim P_T} \left[\ell(h(X),Y)\right],

其中,ℓ\ell 是损失函数。

对源域样本进行常规的经验风险最小化,直接估计的是源域风险,而非目标域风险。如果两个分布差异显著,最小化前者未必能最小化后者。领域自适应通过引入额外的假设、目标或信息来弥合这一差异。

一个域不一定对应某个独立的物理地点。它可以代表一种相机类型、写作风格、人群、采集规程、时间段或仿真环境。因此,域的边界在一定程度上取决于具体应用。

与相关概念的关系

领域自适应处理的是分布偏移的一种特定情形。分布偏移是一种更广泛的现象,而自适应是应对这种现象的一种方式。

迁移学习涵盖任务、输出空间或输入模态不同的情况。领域自适应通常假定预测任务具有更强的延续性,不过不同研究群体对这些术语的使用有所不同。

**领域泛化**旨在从一个或多个源域中学习,并在训练期间不使用目标域数据的情况下,在未见过的域中取得良好表现。相比之下,领域自适应通常会使用某些目标域特有的信息,例如无标签观测数据或少量带标签样本。

**微调**是一种技术,而不是一种独立的问题定义。利用目标域样本更新预训练模型可以实现领域自适应,但自适应也可以采用重加权、特征变换或调整推理过程等方式,而不必进行常规微调。

**半监督学习**结合使用带标签样本和无标签样本。半监督领域自适应还增加了一层复杂性:源域与目标域样本来自不同的分布。同样,无监督领域自适应指的是缺少目标域标签,并不一定意味着完全没有带标签的训练数据。

主要设置

领域自适应问题可以沿若干相互独立的维度进行分类。

目标域标签的可用性

  • **有监督领域自适应:**有带标签的目标域样本可用,其数量通常少于带标签的源域样本。
  • **无监督领域自适应:**源域样本有标签,目标域样本无标签。
  • **半监督领域自适应:**目标域数据同时包含带标签样本和无标签样本。

这些类别描述的是标签的可获取情况,而非特定的模型架构或优化方法。

源域信息的可获取性

在常规自适应中,模型适配期间仍可访问源域数据。在无源领域自适应中,自适应过程可以访问在源域上训练好的模型,但无法访问原始源域数据集。这种限制可能源于存储、许可或数据隐私方面的约束,但仅仅不提供源域数据并不能构成形式化的隐私保证。

域的数量与结构

单源自适应从一个源域进行迁移。多源自适应结合多个源域,并可能根据各源域与目标域的相关性为其赋予不同权重。其他设置还涉及多个目标域或持续变化的目标环境。

标签空间之间的关系

在闭集自适应中,源域与目标域共享相同的标签集。

在部分领域自适应中,目标域标签集是源域标签集的子集。在开集领域自适应中,目标域数据可能包含源域训练中未出现的类别。通用领域自适应则放宽了事先知晓源域与目标域标签集重叠情况的要求。

这些设置需要不同的假设:当真正的新类别出现时,强行将每个目标域观测样本归入某个已知源域类别的做法可能并不合适。

分布变化的类型

偏移的类型决定了哪些自适应策略具有合理依据。

协变量偏移

在协变量偏移下,输入分布发生变化,而标签的条件分布保持稳定:

PS(X)≠PT(X),PS(Y∣X)=PT(Y∣X).P_S(X)\neq P_T(X), \qquad P_S(Y\mid X)=P_T(Y\mid X).

例如,某些文档风格的出现比例可能发生变化,而正确的标注规则保持不变。

当源域分布的支撑集中的每一处也都位于目标域分布的支撑集内时,目标域风险可以表示为加权的源域期望:

RT(h)=EPS[pT(X)pS(X)ℓ(h(X),Y)].R_T(h)= \mathbb{E}_{P_S} \left[ \frac{p_T(X)}{p_S(X)} \ell(h(X),Y) \right].

这一恒等式为重要性加权提供了依据,但并不意味着密度比容易估计,或其估计在统计上是稳定的。

标签偏移

在标签偏移下,类别比例发生变化,而给定类别的输入条件分布保持不变:

PS(Y)≠PT(Y),PS(X∣Y)=PT(X∣Y).P_S(Y)\neq P_T(Y), \qquad P_S(X\mid Y)=P_T(X\mid Y).

例如,两个文档集合中各文档类别的相对频率可能不同。在适当的可辨识性条件下,自适应方法可以估计目标域的类别比例,并调整预测结果或训练权重。

预测关系的变化

如果 P(Y∣X)P(Y\mid X) 本身发生变化,源域中的标签关系可能不再成立。这类变化通常与概念偏移联系起来讨论;对于不断演变的数据流,则常与概念漂移联系起来讨论。

如果没有目标域标签或额外的结构性假设,这些变化可能无法被可靠地识别。同一个无标签目标域分布可能与不同的标注规则相容。因此,领域自适应无法仅凭观察无标签输入来解决任意的分布变化。

主要方法

样本重加权与筛选

基于样本的方法会调整源域样本的影响力。被认为更能代表目标域分布的样本会获得更高的权重;不相关的样本则可能被降低权重或移除。

权重可以通过密度比估计、矩匹配,或通过训练用于区分源域与目标域观测样本的分类器来估计。权重截断或正则化可以限制极端权重的影响,但代价是引入偏差。

这些方法在协变量偏移的情形下尤其容易解释。当目标域样本超出源域的覆盖范围,或标签关系保持稳定这一假设不成立时,其有效性会下降。

特征变换与分布对齐

基于特征的方法试图寻找一种表征,在保留预测信息的同时,使源域与目标域样本更具可比性。早期方法使用人工设计的变换、子空间对齐或核方法。深度学习方法则联合学习特征提取器和任务预测器。

对齐目标可以匹配特征均值、协方差矩阵或更丰富的分布性质。最大均值差异通过比较分布在核所定义的特征空间中的均值嵌入来衡量分布差异。其他方法则使用具有不同统计性质的距离或差异度量。

仅匹配特征的边缘分布并不足够。两个域的整体特征分布可能相似,但对应类别仍未对齐。类别条件对齐试图保留类别结构,但通常依赖不确定的目标域标签估计。

对抗自适应

对抗方法训练特征提取器,使其既能支持源域标签预测,又能让域判别器难以区分源域与目标域特征。这将表征学习与一种对抗目标相结合,该目标与生成对抗网络有关,但又有所不同。

一种广泛使用的实现方式采用梯度反转操作:域判别器学习识别样本所属的域,而其梯度则促使特征提取器隐藏域归属信息。

能够隐藏域身份的表征不一定对预测任务有用。如果域之间的差异与类别信息相互纠缠,过度对齐可能会移除具有判别力的特征,或错误地将不同类别对齐。

自训练与一致性

自训练为目标域样本分配预测标签,通常称为伪标签,并将其用于后续优化。置信度阈值、教师—学生模型和类别平衡措施可以减少不可靠预测的影响。

基于一致性的方法鼓励模型在适当扰动或数据增强下保持预测稳定。相关方法使用自监督学习目标,在无需人工标签的情况下学习与目标域相关的结构。

主要风险在于错误强化:错误的目标域预测可能成为训练目标,并在反复更新后变得更加自信。

参数适配与目标域预训练

基于参数的方法会调整在源域上训练好的模型的部分或全部参数。例如,更新分类头、改变归一化统计量,或使用参数高效模块。

对于大语言模型,在领域专用文本上继续训练,可以使其词汇用法和上下文表征适应该领域。这与有监督的任务微调不同,但两者可以结合使用。特定领域的语料本身并不能确保模型的事实可靠性提高,也不能确保其在该领域所有任务上的表现都有提升。

更新模型还可能导致灾难性遗忘,降低模型在原先能够处理的域中的表现。

最优传输与数据变换

最优传输方法利用移动概率质量的成本,在源域与目标域分布之间建立对应关系。考虑任务的变体还会纳入标签信息或结构性约束。

其他技术直接对观测数据进行变换,例如将合成图像转换为更逼真的视觉风格。这类变换可以缩小外观差距,但也可能改变与标签相关的内容。因此,保留语义与匹配表面统计特征同样重要。

理论基础与局限

领域自适应理论研究的是:在什么条件下,源域表现与观测到的域间相似性能够意味着良好的目标域表现。

二分类问题中一个具有代表性的界具有如下形式:

RT(h)≤RS(h)+12dHΔH(PSX,PTX)+λ,R_T(h) \leq R_S(h) + \frac{1}{2} d_{\mathcal H\Delta\mathcal H}(P_S^X,P_T^X) + \lambda,

其中,PSXP_S^X 和 PTXP_T^X 是输入分布,该散度衡量的是通过假设类 H\mathcal H 中不同假设之间的预测分歧所能检测到的分布差异,并且

λ=min⁡h∈H(RS(h)+RT(h)).\lambda= \min_{h\in\mathcal H} \bigl(R_S(h)+R_T(h)\bigr).

该表达式涉及总体风险;有限样本版本会增加估计项,并依赖关于假设类和采样的假设。

这个界将问题分为三个方面:源域预测误差、域间差异,以及是否存在一个能在两个域上都表现良好的假设。减小域间差异并不能控制最后一项。如果两个域需要互不相容的预测规则,仅靠分布对齐无法保证自适应成功。

负迁移是指,与不进行该迁移的相关替代方案相比,使用源域信息反而使目标域表现变差。其成因可能包括源域选择不当、偏移假设错误、类别不匹配或过度对齐。因此,无论相对于保持不变的源域模型,还是仅使用目标域数据的基线,自适应都不一定能带来改进。

历史发展与应用

领域自适应源于样本选择偏差、统计学习、迁移学习和跨域预测等相互交叉的研究。早期方法侧重于样本加权、特征扩充、共享表征和子空间方法。深度学习的发展使该领域扩展到端到端特征对齐、对抗训练和自训练。此后,预训练模型的普及进一步推动了对无源自适应及仅进行少量目标域更新的自适应方法的关注。

主要应用包括:

  • **计算机视觉:**适配不同相机、光照、天气、图像风格,以及从合成环境到真实环境的差异,涉及目标检测和语义分割等任务。
  • **自然语言处理:**在不同文体和主题领域之间迁移情感分类、信息抽取或其他模型。
  • **语音识别:**适应录音通道、声学环境以及与说话人有关的变化。
  • **工业监测:**在不同机器、传感器配置或运行条件之间迁移模型。

自适应能否成功,取决于它是否保留了实际预测任务所需的关系,而不只是各域在统计上是否看起来相似。

评估与部署

评估必须区分自适应期间可用的信息与专门保留用于衡量性能的信息。在无监督自适应中,目标域标签可以用于最终评分,但除非实验方案明确允许这种监督,否则不能用于模型选择。利用隐藏的目标域标签选择方法,可能造成数据泄漏(机器学习)。

清晰的评估应明确以下事项:

  • 源域与目标域数据集,以及二者标签空间之间的关系;
  • 是否能够获取源域数据、目标域标签或域身份信息;
  • 自适应使用的是固定目标域数据集,还是不断变化的数据流;
  • 如何选择超参数和停止规则;
  • 与仅使用源域的模型及相关目标域有监督基线的比较;
  • 不同域对、随机种子和类别之间的表现差异。

在直推式方案中,后续用于评分的无标签输入可以在自适应期间使用。在归纳式方案中,自适应使用一份独立的目标域样本,并在新的目标域样本上衡量性能。这两类方案回答的是不同问题,不应视为可以互换。

测试时自适应利用部署期间遇到的观测数据更新模型。这会带来额外问题,包括对批次组成的敏感性、顺序效应、预测错误的累积以及计算成本。在某个固定基准偏移上的表现,并不能证明模型对未来所有偏移都具有稳健性。