多任务学习是一种机器学习方法,通过共享参数、表示或统计假设,同时学习多个任务。学习系统并不为每个任务拟合完全独立的模型,而是让一个任务中的信息影响其他任务的学习。例如,一个模型可以同时对照片进行物体识别、深度估计和图像分割,也可以根据同一份分子结构描述预测该分子的多种性质。
其核心前提是:相关任务包含互补的信息,有助于揭示有用的底层结构。共享这些信息可以改善泛化(机器学习)表现,减少各个任务所需的标注数据量,并避免重复计算。但同样的共享机制也可能造成干扰:有利于某个任务的模型可能损害另一个任务的表现。因此,多任务学习不仅关注如何共享信息,还关注哪些任务应当共享信息、任务之间应有多强的交互,以及如何平衡彼此竞争的训练信号。
这一方法涵盖经典统计模型、共享特征方法以及大型深度学习系统。相关研究涉及模型架构、统计估计、优化、数据集构建和评估等方面。仅仅进行联合训练并不能证明其具有优势;必须以适当的独立训练模型为对照,在明确定义的资源约束下,证明其确实带来了有意义的收益。
历史发展与范畴
多任务学习源于统计估计中一种更广泛的传统:对相关的量进行联合估计,而不是分别估计。层次模型、合并估计和收缩方法为其提供了重要的概念先例:利用各组之间共享的信息施加约束,可以使各组的估计结果更加可靠。这些思想并不意味着所有层次模型都是多任务学习模型,但它们解释了为什么在数据有限时,联合估计可能优于完全独立的估计。
在神经网络研究领域,里奇·卡鲁阿纳(Rich Caruana)在20世纪90年代的工作推动多任务学习成为一个明确的研究方向。他于1997年发表的论文《多任务学习》阐述了相关学习问题如何通过共享内部表示而相互促进。一种常见的设计是使用一个具有共享隐藏层和多个输出单元的网络,让辅助预测目标参与塑造对主要任务有用的特征。并非所有任务都需要在部署时执行:有些任务可以仅在训练阶段提供额外的监督信号。
与此同时,理论研究也在探索如何通过学习多个任务来发现合适的共享归纳偏置。乔纳森·巴克斯特(Jonathan Baxter)于2000年开展的归纳偏置学习研究,以形式化方式刻画了跨多个任务积累的经验能够帮助确定有用的表示族或假设族的条件。在21世纪头十年,研究者还发展了凸优化表述、低秩参数模型,以及跨任务联合选择特征的方法。安德烈亚斯·阿吉里乌(Andreas Argyriou)、西奥多罗斯·埃夫格尼乌(Theodoros Evgeniou)和马西米利亚诺·蓬蒂尔(Massimiliano Pontil)于2007年开展的多任务特征学习研究,成为这一统计学路线中具有影响力的代表。
随着人工神经网络的发展,共享表示变得越来越实用。罗南·科洛贝尔(Ronan Collobert)和杰森·韦斯顿(Jason Weston)在2008年的研究中,将多项语言处理任务整合到同一个神经网络架构中。后来的系统将联合训练扩展到密集视觉预测、语音处理、推荐,以及面向大量任务的语言指令学习。2016年的交叉缝合网络(cross-stitch network)和2018年的多门控混合专家模型等架构进展,使共享程度和共享方式比采用单一公共骨干网络时更加灵活。
这一术语的边界仍取决于具体的学习方式,并非绝对划分。多任务学习通常强调同时或交替学习多个目标。迁移学习则更多指将知识从源问题迁移到目标问题,这一过程可能通过先后进行的训练来实现。多模态学习关注多种输入或输出模态,这些模态可以服务于一个任务,也可以服务于多个任务。因此,针对多个目标训练的单一模型可以同时属于多任务学习和多模态学习,而多任务系统也可以始终只使用一种模态。这些区别关乎学习过程的组织方式,并不代表相互排斥的模型类别。
任务、数据集与目标函数
一个任务通常由输入空间、输出空间、数据生成分布以及预测成功的判定标准来定义。两个任务可以共享输入,但具有不同的输出,例如为同一幅图像同时提供物体标签和深度图。不同任务也可以具有相同的输出格式,但分别对应不同的人群、产品、语言或环境。预测几种相关产品的需求就可以建模为多任务学习,尽管每个任务预测的都是一个实数值。
对于 个任务,设任务 的数据集为 。一种常见的神经网络建模方式使用共享参数 、任务专属参数 和预测器 。其训练目标为
其中, 是任务专属的损失函数, 决定其相对权重, 则表示惩罚项或结构约束。这是经验风险最小化的一种形式,但它结合了多个经验风险,而不是仅优化其中一个。
归一化方式的选择会产生显著影响。先对每个任务各自样本上的损失取平均,再为各任务赋予相同权重,会使各任务在名义上具有同等影响力。相反,将所有样本汇总后统一取平均,则会让较大的数据集具有更大影响力。这两种选择都没有绝对的对错:哪种加权方式有意义,取决于预期部署时面向的群体、业务目标或科学问题。即便数值权重相同,也不能保证各任务对梯度的贡献相等,因为不同损失可能具有不同的单位、曲率或受监督输出数量。
并非所有多任务数据集都由标注完整的样本构成。一张照片可能有分割掩码,却没有深度测量值;另一张则可能有深度测量值,却没有语义标签。只要能够区分缺失标注与真正的负标签,就可以通过掩码使目标函数仅计入已观测到的标签。不同任务也可以使用完全不同的数据集。在这种情况下,共享参数通过各任务的批次进行更新,而系统实际优化的目标取决于采样调度方式。
任务与输出维度之间的区别,在一定程度上取决于建模选择。多标签分类为每个样本预测多个标签,可以视为一组相关的二分类任务,但许多实现将其作为一个结构化预测问题处理。反过来,在不同领域中预测同一种标签时,如果领域特有的行为很重要,也可以将其视为不同任务。因此,准确的描述应当说明不同任务之间究竟有哪些变化——是预测目标、群体、输出结构,还是优化目标——而不应仅凭输出头的数量来判断。
为什么共享能改善预测
多任务学习的统计学动机,在于权衡模型的灵活性与可用于估计模型参数的数据量。独立训练的模型可以充分适应每个任务,但可能没有足够的数据来可靠地估计参数。共享模型则限制了各个任务可以选择的解。当这种限制契合真实存在的共同结构时,它就可能充分降低方差和过拟合,从而抵消共享所引入的偏差。
多任务线性回归是一个简单的例子。设每个任务的系数向量为 ,并将这些向量按列排列,组成矩阵 。独立学习分别估计每一列。低秩模型则假设
其中,、,且 远小于输入维度 或任务数量 。每个任务都通过组合少量共享的预测方向来进行预测。这种因子分解参数化包含 个元素,而非 个;不过,因子分解会引入非唯一性,其本身并不能保证预测效果更好。
其他建模方式则刻画不同类型的关联。将各任务系数拉向共同均值的惩罚项,表达的是任务之间的近似相似性。对 施加行稀疏惩罚,会鼓励各任务使用同一组输入特征。基于图的惩罚项鼓励关联紧密的任务具有相似参数,同时允许关联较弱的任务有所不同。这些假设各不相同:任务可能共享相关特征,却不具有相似的系数;也可能共享底层视觉特征,却需要截然不同的最终决策规则。
神经网络多任务学习通过表征学习扩展了这一思路。多个任务共同约束内部表征必须保留哪些属性。例如,图像深度估计可能更关注边界和表面几何结构,而语义分割则更关注物体身份和场景类别。两者的重叠部分有助于抑制那些迎合偶然相关性、仅对某一个训练目标有用的特征。辅助任务还可以在不同抽象层次提供监督,即使辅助输出最终被舍弃,也能塑造早期特征。
这种收益是有条件的,并不会自动产生。当共享使某项任务的表现不如某个合适的替代方案时,就会发生负迁移;这种替代方案通常是该任务独立训练的模型。目标之间缺乏关联、特征需求不兼容、标签含噪、数据量不均衡,或共享部分的模型容量不足,都可能导致负迁移。因此,关联性并不只是语义上的相近:两个听起来相似的任务,可能产生不兼容的训练动态;而表面上不同的任务,却可能共享有用的预测结构。
理论保证通常需要对共同表征、相关的参数分布、有界损失或任务采样方式作出假设。在这些假设成立时,增加任务数量可以改善对共享结构的估计,但既不能消除对任务特定数据的需求,也无法克服任务之间任意的差异。
参数共享的架构与模式
最常见的神经网络架构采用硬参数共享:先由编码器或骨干网络处理输入,再由各任务独立的输出头生成预测。在计算机视觉中,共享的卷积神经网络可以为分类、分割和深度估计等任务的输出头提供特征。在自然语言处理中,通用的文本编码器可以支持词元标注、句子分类和关系预测。各输出头允许任务产生各自所需的输出,同时迫使上游计算服务于多个目标。
当多个任务处理相同输入时,硬共享在计算上很有吸引力。骨干网络的一次计算就能替代多个独立模型各自的计算,不过任务输出头和后处理仍会带来额外开销。这种安排也会形成瓶颈:所有任务都在争用同一表征的容量。当任务需要不同的分辨率、不变性或上下文信息时,共享所有层可能并不合适。因此,有些系统共享前面的层,将后面的层分开;另一些系统则共享较高层的组件,同时保留各任务专属的输入处理过程。
软参数共享为各任务配置独立模型,但在模型的参数或激活值之间建立耦合。距离惩罚项可以促使对应权重保持相近,而不强制它们完全相等。Ishan Misra及其同事于2016年提出的交叉缝合网络,会学习如何组合各任务专属网络的中间特征图。这些单元并不预先固定共享模式,而是学习分支之间应传递多少信息。与单一的共享骨干网络相比,这种灵活性通常会增加内存占用和架构复杂度。
专家混合模型架构提供了另一种模式。多个专家子网络生成候选表征,再由门控机制决定每个专家的贡献程度。在多任务场景中,不同任务可以通过不同的门控机制使用同一个专家池。Jiaqi Ma及其同事于2018年描述的多门控专家混合模型架构,明确采用了任务专属的门控机制,以建模任务关系的差异。专家的专门化可以减少不必要的耦合,但门控机制也可能退化为只选择少数几个专家,或导致工作负载分布不均。
以任务信息为条件可以替代显式分支。模型可以在接收输入的同时,接收任务标识符、学习得到的任务嵌入或自然语言指令。随后,共享的Transformer架构便可以根据这些条件信息生成不同的输出。小型任务专属模块,包括适配器或低秩适应组件,为完全共享模型与完全独立模型之间提供了一种折中方案。
这些选择既决定任务之间在统计层面的相互影响,也决定系统部署后的运行方式。共享参数不一定意味着共享全部计算,而共享计算也不意味着所有任务都采用相同的输出规则。因此,架构选择取决于输入是否对齐、任务数量、标注的可获得性、延迟要求,以及任务是必须协同运行,还是需要独立运行。对于每次只需执行一个任务的模型,适合的共享模式可能不同于那些必须针对每个输入同时给出多项预测的系统。
损失平衡与优化冲突
训练共享模型时,各任务的信号通过反向传播汇合。若 表示任务 的损失,则加权目标相对于共享参数的梯度为
这个表达式揭示了一个核心难题:改善每个任务的表现,并不等同于最小化它们的加权损失之和。梯度较大的任务可能主导参数更新,而不同任务的梯度可能指向相反的方向。任务专用输出头受到的直接影响较小,但其学习过程会改变传向共享层的信号。
对于一小步梯度下降 ,任务 的损失的一阶变化近似为 。因此,如果该任务的梯度与合成梯度的内积为正,就意味着其损失有望在局部下降。对于两个任务, 表明它们的梯度方向在局部存在冲突。这只是局部诊断指标,并不能证明这些任务在全局上不兼容:任务间的相互作用取决于当前参数、批次噪声、曲率以及后续优化步骤。
固定权重的方法很简单,但对尺度敏感。以米为单位的深度误差、分类交叉熵和逐像素分割损失,若不作进一步处理,在数值上并不具有可比性。Alex Kendall、Yarin Gal 和 Roberto Cipolla 于 2018 年提出的不确定性加权方法,基于概率似然模型推导任务权重,并在模型中学习各任务特有的不确定性。这类方法将权重设定与建模假设联系起来;其学得的不确定性参数,并不能自然地视为衡量公平性、任务重要性或预测不确定性所有来源的指标。
另一些方法则直接调整权重或梯度。Zhao Chen 及其同事于 2018 年提出的 GradNorm,利用相对训练速率来平衡梯度大小。Tianhe Yu 及其同事于 2020 年提出的 PCGrad,通过投影去除方向相反的分量,以修正存在冲突的任务梯度。这些方法解决的是不同的问题:梯度范数相近并不能确保方向兼容,消除方向冲突也不能保证各任务获得相同的性能提升。它们的效果取决于任务选择、架构、优化器和实现细节。
多任务优化也是多目标优化的一种形式。如果一个解无法在不使其他任务目标变差的前提下改善任何一个任务的目标,那么它就是帕累托有效的。不同的加权方案可能选出不同的折中解,而神经网络目标函数的非凸性,使加权和与可实现的权衡之间的关系更加复杂。一些应用会指定一个主要任务,并限制其他任务可接受的性能下降幅度,而不是对所有任务一视同仁。
平衡各任务所需的计算成本同样重要。为大量任务分别估计梯度,可能需要额外的反向传播、内存或梯度存储空间。每次仅采样一部分任务可以降低成本,但也会增加平衡决策的不确定性。因此,解读所报告的性能提升时,必须同时考虑实际训练耗时,而不能只看参数更新次数。一种优化方法即使在更新次数相同的条件下提高了准确率,在计算预算相同的条件下也可能毫无优势。
数据组织、采样与辅助监督
多任务数据集的差异之一,在于观测样本与标注如何对应。在完全配对的数据集中,每个输入都有所有任务的标签。在部分标注的数据集中,一些目标值缺失。在非配对的数据组织方式下,各任务使用不同的样本集合。这些设置决定了训练时能否通过编码器的一次前向计算得到多个损失,还是必须在各任务的专用批次之间交替训练。它们也会影响模型能够直接观察到哪些相关关系。
缺失标注需要明确处理。如果某个物体没有被标注,是因为标注人员只被要求标记另一个类别,那么标注中没有这个物体,并不能证明图像中不存在它。将未观测到的标签视为负例,可能引入系统性错误。掩码损失可以避免对缺失的目标值施加监督,但如果标注缺失与输入难度、类别、机构或人群有关,它并不能消除由此产生的选择偏差。联合学习可能通过共享特征,使这种偏差在任务之间传播。
任务采样决定了各任务在实际训练中受到的重视程度。按数据集大小成比例采样,近似于在合并后的数据集上训练;而对任务均匀采样,则会使小数据集相对于其规模获得更多更新。类似温度调节的分布可以在这两种选择之间插值:
其中, 表示按数据集大小成比例采样, 表示对各任务均匀采样。中间值可以减弱数据集规模差异的影响。采样概率与损失权重共同决定各任务的预期贡献;不过,由于自适应优化器、批次组成及非线性训练动态的影响,即使预期权重相同,也不一定会产生相同的学习轨迹。
辅助监督通过增加任务来改善目标表征,而不是为了提供必需的输出。例如,语言模型可以将主要的监督学习目标与重建目标或一致性目标结合起来;视觉模型可以在预测分割掩码的同时预测边界。自监督学习可以从输入本身构造监督目标,减少对额外标注的需求。然而,辅助目标也可能使模型将容量用于与部署任务无关的信息。要确认辅助目标是否有用,必须进行消融实验:在保持其他重要训练条件不变的情况下移除该目标。
损失的粒度也很重要。像素级任务可以从一张图像中产生数十万个监督项,而图像分类只提供一个标签。如果不做归一化就将所有像素损失相加,密集预测任务可能会主导训练。取平均值可以消除一种尺度差异,却不能保证各任务的信息量、噪声水平或梯度大小具有可比性。同样,对同一实体的重复观测可能让数据集显得更大,却未必能提供成比例增加的独立证据。
可靠的数据处理要求在追踪数据来源时考虑任务之间的关系。如果相关样本涉及相同的受试者、文档、场景、分子或时间段,那么在划分数据集时,必须将它们分在同一组。即使主任务自身的标签从未用于训练,经由辅助任务发生的数据泄漏(机器学习)仍可能使主任务的评估失效。关键边界在于是否接触到了留出样本的信息,而不只是某个样本是否以相同的任务名称出现。
感知、语言和推荐中的应用
视觉感知是一个尤为直观的应用场景,因为多个输出描述的是同一场景。目标检测识别物体及其位置;分割为像素分配标签;深度预测估计几何结构;光流则估计帧间的表观运动。共享的图像特征可以支持其中多种输出,但它们的需求并不相同。语义识别通常受益于对局部细节的不变性,而边界识别和运动估计则需要空间精度。
何恺明及其同事于 2017 年提出的 Mask R-CNN,是在同一感知系统中联合优化多个目标的代表性例子。它在目标检测框架中增加了一个分支,为每个选定区域预测实例掩码。分类、边界框回归和掩码预测各自贡献独立的训练损失。这说明,多任务学习不一定要涉及一组互不相关的基准任务:多个相互配合的预测组件,也可以共同支撑一个结构化应用。
语言系统已将共享表示用于词性标注、命名实体识别、句法分析、机器翻译和句子级预测。借助编码器—解码器模型,许多问题都可以表述为:以输入和任务描述为条件生成文本。Colin Raffel 及其同事于 2020 年开展的 T5 研究系统化了文本到文本的建模方式,而后来的指令微调研究则使用由自然语言提示描述的混合任务来训练模型。这些进展使任务定义部分地转由语言表达,而不再完全由模型架构决定。
并非所有语言模型流程都在同一意义上属于多任务学习。BERT 语言模型最初在预训练阶段结合了掩码语言建模和下一句预测,而后续的微调则可能只针对一个有监督问题。模型能够回答多种问题,这本身并不能证明它在训练时使用了分别指定的任务损失。训练目标、数据集混合方式和观察到的能力,是彼此相关但又不同的描述。
在推荐系统中,常见的预测目标包括点击、购买、观看时长和其他交互结果。这些信号的出现频率和选择机制各不相同。购买标签可能只有在曝光并发生点击之后才能观测到,因此,直接使用点击样本进行训练容易受到选择效应的影响。2018 年提出的全空间多任务模型利用点击与点击后转化在整个曝光空间中的概率关系,对点击率和点击后转化率进行预测。此类建模方式依赖于精确的事件定义和日志记录过程。
科学预测同样提供了天然相关的一组组任务。分子模型可以利用共享的结构表示,预测多项测定结果或物理性质。测量值缺失很常见,不同任务的样本量和实验噪声也可能相差很大。联合训练可以利用共享的化学结构,但输入相同并不意味着背后的机制也相同。在所有这些应用中,多任务学习是否有用,取决于所选任务和评估条件,而不仅仅取决于是否存在多个输出。
评估、基线与可复现性
多任务模型应在其预期支持的每一项任务上接受评估,并使用适合该任务的指标。分类准确率、平均绝对误差、校准程度、交并比和排序质量衡量的是不同性质,通常不能在未经明确归一化的情况下直接相加。只报告一个综合得分,可能会使某项任务的显著退化被其他任务的改进所掩盖。
最基本的对照是一组分别训练的单任务模型。不过,“公平比较”有多种含义:可以让多任务模型与每个单任务基线模型的骨干网络规模相同,也可以让其总参数量与所有基线模型的参数量之和相同,还可以让双方的总体训练计算量相同。这些比较回答的是不同的问题。共享骨干网络可能降低总体部署成本,却需要更多训练投入;大型共享模型优于较小的独立模型,也可能主要是因为其容量更大。
评估中经常会汇总各任务的相对改进,但定义相对改进时必须考虑指标的优劣方向和尺度。当基线误差很小时,绝对值上的微小变化也可能表现为很大的改进百分比。平均排名可以避免部分尺度问题,却会丢失差异幅度的信息。因此,完整的报告应包含原始指标、汇总规则以及每项任务的性能,而不只是一个归一化后的平均值。
验证也必须统筹所有任务。根据某一项任务的表现选择模型检查点,可能不利于其他任务,因为它们可能在更早或更晚时达到最佳性能。任务权重、采样调度、分支位置和优化方法都属于超参数,不得利用最终的测试集来选择。可以使用验证集,依据预先声明的标准进行选择,例如平均归一化性能、某个主要指标,或对表现最差任务的约束。如果参与比较的方法使用了不同的调优预算,比较结果就可能产生误导。
消融实验有助于识别性能提升的来源。相关实验包括移除辅助任务、调整共享部分的容量、比较固定权重与学习得到的权重,以及在保持数据混合方式不变的同时改变共享架构。当报告的改进相对于训练波动而言较小时,使用不同随机种子重复实验尤为重要。在分布偏移条件下进行评估,可以揭示共享特征在提供联合监督的环境之外是否仍然有用。
迁移可能具有方向性:加入任务 B 可能有助于任务 A,而加入任务 A 却会损害任务 B。成对迁移测量可以揭示其中一部分不对称性,但无法完全预测更大任务组合的表现。三个任务之间的交互效应不一定等于各对任务效应之和。实际评估还包括延迟、内存占用、吞吐量,以及是否必须同时运行所有任务头。这些运行层面的测量有助于区分预测效果的提升与效率的提升,而这两者是共享机制可能带来的不同收益。
规模扩展、任务选择与未解问题
随着任务集合不断扩大,决定共享哪些内容就成了一个搜索问题。对 个任务的所有子集进行穷举测试,需要考虑 个子集,而这还没有计入不同架构和权重的选择。两两任务间的亲和度测量、梯度相似度、基于验证结果的迁移效果估计,以及学习得到的路由机制,都能提供近似判断,但没有一种方法能完整刻画任务之间的兼容性。亲和度可能随训练过程而变化;某个任务可能有助于早期特征学习,却在后期的专门化阶段不再有益。
规模扩展也改变了任务身份的含义。在经过大规模指令训练的大语言模型中,数千个数据集、提示模板和输出格式可能共同构成一个训练数据混合体。一个数据集可能包含多种不同技能,而多个数据集也可能表达几乎相同的任务。因此,按数据集、指令或输出头计数,会得到不同的任务多样性估计。统一的文本生成损失虽然简化了实现,却并未消除监督信号在质量、频率或难度上的差异。
当任务随时间陆续到来时,多任务学习便与持续学习产生交集。同时训练假定可以访问由各任务数据组成的混合数据;持续学习则可能限制对早期样本的访问,并引发灾难性遗忘。样本回放、任务专用模块和参数约束可以保留已有能力,但也会改变内存和计算需求。在固定的多任务基准上取得成功,并不能证明系统可以在不重新训练、也不丧失旧任务能力的情况下添加新任务。
大型共享模型还带来了问责与数据隐私问题。移除一个数据集、纠正一处标注错误,或改变某个任务的目标,都可能通过共享参数影响其他任务。在联邦学习中,相关任务可能对应不同客户端,而共享结构的学习无需集中所有原始数据。此时,统计异质性与通信限制也成为任务共享问题的一部分。联合训练本身不提供任何隐私保证;任何此类保证都需要另行明确相应机制并加以分析。
一个长期存在的科学问题是,如何区分有益的共享结构与偶然相关性。较高的平均性能,可能与对训练任务中反复出现的捷径的有害依赖同时存在。反过来,过度分离也可能丢弃真正共有的机制。现有理论在对任务生成过程作出限定性假设的条件下,给出了一些有用结果,但尚未形成适用于大型非凸系统的共享模式选择通则。
评估所关注的对象也可能不止于各任务的平均性能。部署后的模型可能需要满足针对支持最不足的任务、长尾群体、响应时间,或独立更新某项能力的约束。这些要求会使共享模型与任务专用模型之间的不同配置各具优势。关于自适应路由、任务发现、高效梯度估计和模块化更新的研究,正在应对这些具体约束,同时仍围绕那个核心统计问题展开:哪些信息可以共享,而又不会强加不恰当的共同解决方案?