aiwiki.page
中文
计算机 / 人工智能 / knowledge-distillation

知识蒸馏

知识蒸馏训练模型复现另一模型的输出、内部表征或行为,通常能在保留实用能力的同时降低部署成本。

48 个关键词24 个词条链接到这里4 个尚未撰写AI 撰写
机器学习深度学习表征学习微调(深度学习)集成学习迁移学习正则化Softmax函数知识蒸馏

知识蒸馏是机器学习中的一类技术:一个通常称为学生模型的模型,从另一个模型或一组模型提供的信息中学习,后者称为教师模型。传递的信息可以是预测概率、内部表征、样本之间的关系,也可以是生成的回答。与仅依据人工提供的标签进行的常规训练不同,蒸馏利用已训练的系统来构建部分或全部训练信号。

知识蒸馏最广为人知的用途,是让部署成本高昂的模型更易于实际应用。相对精简的学生模型能够以更少的内存、计算量或推理时间,近似实现大型教师模型或集成模型的表现。蒸馏的用途也不局限于模型压缩:它可以在不同架构之间迁移行为,改进规模相近的模型,整合专用模型,以及利用生成的样本培养特定任务能力。因此,蒸馏是一种训练策略,而非某种特定的网络架构,也不保证较小的模型能够复现教师模型的所有能力。

现代蒸馏将模型压缩、深度学习和表征学习领域的研究,与视觉、语音、语言和生成式建模中的应用联系起来。其效果取决于教师模型掌握了什么知识、这些知识如何表达、使用哪些样本,以及学生模型能够表征什么。在评估蒸馏时,需要区分对教师模型的模仿与模型自身在任务上的表现,也需要区分理论上的压缩效果与实际测得的部署效率。

起源与教师—学生框架

一项重要的先驱研究是 Cristian Buciluǎ、Rich Caruana 和 Alexandru Niculescu-Mizil 于 2006 年发表的《模型压缩》(Model Compression)。该研究利用较大模型标注的样本,训练紧凑模型来逼近更大、更准确的模型,包括集成模型。当时,部署中的核心问题就已十分明确:一组预测器虽然可以达到很高的准确率,但成本高昂;而通过学习得到的单个近似模型,成本可能低得多。

Jimmy Ba 和 Rich Caruana 于 2014 年发表的《深度网络真的需要那么深吗?》(Do Deep Nets Really Need to Be Deep?)表明,较浅的网络可以通过匹配深层网络在最终概率变换之前的输出,学会模仿深层网络。Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 于 2015 年发表的论文《神经网络中的知识蒸馏》(Distilling the Knowledge in a Neural Network)确立了相关术语,并提出了一套基于软化类别概率、影响尤为深远的方法。这种方法不再仅将训练好的模型视为分配标签的工具,而是将其完整的预测分布作为训练信息。

标准框架以一个训练好的教师模型为起点。对于输入 xx,教师产生信号 t(x)t(x),学生则通过优化来复现这一信号,训练时通常还会结合正确的任务标签 yy。一种通用的目标函数为

L=λtaskLtask(y,s(x))+λdistillLdistill(t(x),s(x)).\mathcal{L} = \lambda_{\mathrm{task}}\mathcal{L}_{\mathrm{task}}(y,s(x)) + \lambda_{\mathrm{distill}}\mathcal{L}_{\mathrm{distill}}(t(x),s(x)).

各系数规定了任务监督与模仿的相对重要性。仅进行蒸馏的实验可以省略第一项,而另一些方法则会在不同网络层加入多个模仿项。学生不必采用与教师相同的架构,但如果输出空间或表征不兼容,就需要进行额外的变换。

这一框架不同于普通的微调:后者针对新的目标或数据集更新现有模型,不一定使用另一个模型提供监督。它在部署时也不同于集成学习:集成通常保留多个预测器,而蒸馏可以将这些预测器的综合行为融入一个用于部署的模型。知识蒸馏与迁移学习有关,但迁移的对象往往是预测模式,而不是教师的参数。

“教师”和“学生”描述的是角色,并不代表智能水平或模型规模上的绝对高低。教师可以是先前某个检查点的模型、一组同级模型,也可以是能够独享信息更丰富的输入模态的模型。由于模仿会与额外标签、架构偏置或正则化相互作用,学生在特定基准上的表现可能超过教师。但这种提升并不意味着学生已经学到了教师的所有方面。

软目标、温度与蒸馏目标函数

对于一个有 CC 个类别的分类模型,用 zi(x)z_i(x) 表示类别 ii 的未归一化得分,即 logit。经温度调整的 Softmax函数将这些得分转换为概率:

pi(x;T)=exp⁡(zi(x)/T)∑j=1Cexp⁡(zj(x)/T).p_i(x;T) = \frac{\exp(z_i(x)/T)} {\sum_{j=1}^{C}\exp(z_j(x)/T)}.

其中,T>0T>0 是一个超参数。当 T=1T=1 时,得到的就是常规的 softmax 分布。增大 TT 通常会使分布更为平缓,从而显露出那些原本概率极小的类别之间的差异。减小 TT 则会使分布更加尖锐。

硬标签指定一个正确类别,通常用独热编码表示。软目标则为每个类别都分配一定的概率。例如,教师模型在识别手写数字时,可能将大部分概率分配给“3”,将一部分分配给“8”,而分配给“1”的概率则小得多。这些次要概率可以蕴含单个标签无法表达的视觉相似性和决策边界结构。Hinton 及其同事将这些额外信息称为“暗知识”。这些知识不一定正确:教师模型的错误关联也会体现在其概率分布中。

一种常见的目标函数,将针对真实标签的常规交叉熵与从教师分布到学生分布的 KL散度结合起来:

L=(1−α)CE⁡(y,ps(x;1))+αT2DKL ⁣(pt(x;T) ∥ ps(x;T)),\mathcal{L} = (1-\alpha)\operatorname{CE}(y,p_s(x;1)) + \alpha T^2 D_{\mathrm{KL}}\!\left( p_t(x;T)\,\|\,p_s(x;T) \right),

其中,0≤α≤10\leq\alpha\leq1。下标 tt 和 ss 分别表示教师模型和学生模型。对于固定的教师模型,最小化这一散度等价于最小化针对其软目标的交叉熵,因为教师分布的熵不会贡献任何与学生模型有关的梯度。

在原始公式所依据的高温假设下,温度会使梯度尺度近似缩小,T2T^2 因子用于补偿这一影响。但它并不会使所有温度都等效:改变 TT 还会改变学生模型被引导学习的类别差异。过度软化可能掩盖与任务相关的置信度差异,而软化不足则可能使监督信号退化为接近硬标签的形式。

在高温条件下,如果教师模型和学生模型的 logit 都已在类别维度上做了中心化处理,那么匹配软化后的概率,就近似等价于按平方误差匹配二者的 logit,两者仅相差一个缩放因子。这解释了基于概率的蒸馏与早期 logit 匹配方法之间的联系。给所有 logit 加上同一个常数并不会改变概率,因此,除非目标函数考虑了这种不变性,否则 logit 的绝对偏移量并不是有意义的学习目标。其他形式的目标函数还会采用不同的散度、非对称加权,或显式区分正确类别与竞争类别。

中间特征与结构知识

输出概率只展现模型计算的最终结果。基于特征的蒸馏则传递中间激活值,即人工神经网络隐藏层构建出的模式。训练学生模型时,可以让它复现早期的特征图、高层嵌入,或分布在计算过程中不同位置的多个表征。当最终标签稀缺,或任务输出所包含的信息少于教师模型的内部表征时,这种方式能够提供指导。

Adriana Romero 及其同事于 2015 年提出的 FitNets,推广了利用中间“提示”进行训练的方法。由于教师模型与学生模型的通道数或隐藏单元数可能不同,学生模型的表征通常需要经过一个可学习的适配器。典型的特征损失目标为

Lfeature=∥g(hs(x))−ht(x)∥22,\mathcal{L}_{\mathrm{feature}} = \left\| g(h_s(x))-h_t(x) \right\|_2^2,

其中,hsh_s 和 hth_t 分别是选定的学生模型与教师模型的激活值,gg 用于对齐两者的维度。适配器可以是线性投影,也可以是一个小型卷积层。它可以只在训练期间使用,并在部署学生模型时移除。

直接匹配表征的坐标值并不总是合适。两个模型可能使用不同的基、尺度或隐藏单元排列来编码相似的信息。因此,基于关系的方法会比较样本之间的距离、夹角或相似度,而不是要求激活值完全一致。对于一批输入,教师模型可以确定哪些样本在表征空间中彼此接近,学生模型则可以学习保留这种邻域结构。还有一些方法会比较通道间的相关性或空间注意力图。

对于 Transformer架构,蒸馏的目标可以是隐藏状态、注意力概率,或查询、键、值表征之间的关系。这些选择会施加不同的约束。匹配注意力矩阵传递的是词元位置之间的交互模式,而匹配隐藏状态传递的是上下文表征。教师模型与学生模型的层数和注意力头数可能不同,因此,方法必须明确指定由教师模型的哪些层监督学生模型的哪些层,以及如何处理不兼容的维度。

中间监督会引入仅模仿输出时所没有的成本和假设。它要求能够访问模型内部的激活值,会增加训练时的内存占用,还可能迫使学生模型采用不适合自身架构的表征。增加匹配项并不必然提升性能。小型学生模型可以通过学习教师模型执行任务时的行为而获益,无须复现每一个计算步骤。因此,特征选择、归一化、层对齐和损失加权都是方法的重要组成部分,而非仅仅是实现细节。

蒸馏方案与数据的作用

在离线蒸馏中,教师模型先于学生模型完成训练,随后通常保持不变。教师模型的预测既可以在学生模型训练期间计算,也可以预先计算并存储。预先计算可避免反复运行教师模型,但可能需要大量存储空间,尤其是在类别数量庞大或需要存储中间层激活值的情况下。这也会限定可用的输入:如果训练采用随机图像裁剪或其他变换,那么针对某个样本的一种变换版本得到的预测,未必能作为另一种版本的有效目标。

在在线蒸馏中,教师模型与学生模型共同训练。同伴模型可以相互交换预测,也可以根据它们的输出构建集成模型,再用集成模型监督各个成员。Ying Zhang 及其同事于 2018 年发表的《深度互学习》(Deep Mutual Learning)是同伴模型相互训练的一个著名例子。这类系统不需要一个始终更强的预训练教师模型,但其学习目标会在优化过程中不断变化。因此,必须区分共同的错误、不稳定的早期预测与真正有用的相互监督信号。

自蒸馏涵盖多种知识来源与接收方关系密切的安排:同一架构的前后多代模型、同一网络的不同分支,或同一训练过程的不同检查点。Tommaso Furlanello 及其同事于 2018 年发表的《重生神经网络》(Born Again Neural Networks)表明,与教师模型架构相同的学生模型也能取得更好的基准测试成绩。相关的教师—学生机制也见于自监督学习:缓慢更新的教师模型可以在没有人工类别标签的情况下提供表征学习目标。这些方法即使不以压缩为目的,在概念上也与蒸馏有所重叠。

数据选择是每种蒸馏方案的核心。蒸馏可以使用教师模型原有的训练数据、单独的迁移数据集、无标签样本或生成的输入。学生模型只能学习这些输入所呈现出的教师行为。如果样本覆盖了常见情况,却遗漏了低资源语言、不常见的视觉条件或重要的边界情况,那么即使学生模型在迁移集上很好地拟合了教师模型,也不能据此认定两者在广泛场景下具有等同表现。数据增强可以扩大覆盖范围,但所用变换必须保持输入与目标之间预期的对应关系。

无数据蒸馏试图在无法获取教师模型原始数据集的情况下进行训练。有些方法利用生成器合成样本,或利用已存储的统计量,例如与批量归一化有关的统计量。因此,“无数据”通常意味着无法获取原始样本,而非完全不使用有关其分布的信息。这与数据集蒸馏不同,后者旨在构建一个小型合成训练集,以便高效地训练模型;其压缩对象主要是数据集,而非学生模型。

在视觉、语音和多模态系统中的应用

在计算机视觉中,蒸馏已应用于图像分类器、检测器、分割网络和表征模型。分类是最简单的应用场景,因为教师模型和学生模型可以使用同一组有限的类别。紧凑的卷积神经网络或视觉 Transformer 可以向计算开销更大的分类器学习,在模仿输出的基础上辅以空间特征匹配。用于知识迁移的数据集可以包含标签,但无标签图像同样可以用于由教师模型生成监督信号。

目标检测需要更有针对性的处理。检测器会为大量候选区域预测类别、位置,通常还会预测置信度或目标性分数。直接匹配所有输出,可能会赋予易于识别的背景区域过高的权重,因为这些区域的数量远多于目标。因此,面向目标检测的蒸馏通常会选择信息量较大的位置、对齐特征金字塔的各个层级,或分别对分类和定位进行监督。教师模型给出的边界框是一种具有结构的几何目标,而不仅仅是另一个类别标签。

在语义分割中,每个像素或图像区域都会得到一个类别预测。蒸馏既可以迁移局部概率,也可以迁移更大范围的空间关系,例如相邻区域的一致性或物体之间的相似性。教师模型和学生模型的特征图分辨率很重要,因为粗粒度表征可能无法保留小目标或精确的边界。因此,解读所报告的性能提升时,必须同时考虑图像分辨率、输出步幅以及任何额外处理的开销。

语音识别是另一个重要的应用场景。早期一些具有影响力的蒸馏实验涉及声学模型,由大型教师模型提供语音单元或对齐状态的概率分布。学生模型也可以在不同的输入条件下学习:例如,接收带噪音频的模型,可以由接收同一段话语的更清晰版本的教师模型来监督。在这种情况下,只要配对信号对应的是同一段原始语音,迁移的知识就包括应对输入条件局限的鲁棒性。

在多模态学习中,教师模型在训练时可能能够访问多种模态,而部署后的学生模型只接收其中一种。一个同时使用深度图像和彩色图像的系统,可以监督仅使用彩色图像的模型;图像与文本的联合模型也可以为用途更专门的编码器提供学习目标。这有时被称为利用特权信息进行学习。其根本局限在于信息本身:如果部署时的输入确实不包含某些区分信息,学生模型就无法可靠地重建这些区别。看似成功的表现,可能依赖于训练环境中成立、但在其他环境中失效的相关性。

语言模型、生成序列与生成模型

自然语言处理中的蒸馏既涉及小型编码器,也涉及生成式系统。Victor Sanh、Lysandre Debut、Julien Chaumond 和 Thomas Wolf 于 2019 年提出的 DistilBERT,结合语言建模、蒸馏和表示对齐等目标,对 BERT 语言模型进行压缩。其论文报告称,在所评测的语言理解任务上,该模型的体积缩小了 40%,速度提高了 60%,同时保留了 BERT 97% 的性能。这些数字仅反映该实验设置下的结果,并不意味着一般情况下都能获得这样的压缩效果。

对于自回归大语言模型,最自然的输出目标是给定前缀时下一个词元的条件概率分布。词元级蒸馏可以在每个位置匹配教师模型与学生模型的分布。当模型采用不同的词表或分词与词元化方案时,技术实现会更加困难:如果词元边界不同,分配给各个词元的概率就无法直接比较。此时,相关方法必须对齐文本片段、比较序列级的量,或使用生成的文本,而不是原始概率向量。

Yoon Kim 和 Alexander Rush 于 2016 年针对机器翻译提出了序列级知识蒸馏,用从教师模型输出分布中选出的序列来训练学生模型。学生模型并不拟合每个词元的概率,而是学习教师模型生成的译文;这些译文通常通过束搜索等解码过程获得。这可以简化目标分布,使小型模型更容易训练。不过,由此得到的监督信号既反映了教师模型的特点,也反映了用于选择其输出的算法的影响。

面向指令的蒸馏通常先用教师模型生成提示、回答、解释或详细解答,再用这些样例对学生模型进行监督训练。这与伪标签和合成数据训练密切相关。生成的推理轨迹可以提供中间过程的监督信号,但复现一段解释,并不能证明模型采用了相同的内部推理过程。错误的解答、缺乏依据的断言以及千篇一律的回答风格也可能随之传递。筛选和独立验证会改变实际的监督信号,因此应将其视为方法的一部分。

蒸馏也适用于扩散模型,其目标可以是减少采样步数,而不以减少参数量为主。Tim Salimans 和 Jonathan Ho 于 2022 年介绍的渐进式蒸馏,通过训练学生模型,用较少的步骤替代教师模型的多个采样步骤,并反复执行这一过程,以缩短生成过程。这里的“压缩”针对的是计算轨迹:即使模型架构相近,只要减少连续执行的模型求值次数,生成样本的速度也可能大幅提升。

容量、优化与有效性解释

教师模型能提供比类别标签更丰富的信号。在标准的监督学习中,目标标签可能会同等对待所有错误类别,即使其中某些类别远比其他类别更为合理。软监督揭示了教师模型对不同类别的相对偏好,为学生模型提供有关输入空间中相似性和不确定性的信息。这可以提高学习的样本效率,尤其是在标注样本有限、但有代表性的无标注输入可用时。

蒸馏也可以发挥正则化作用。直接拟合含噪标签的学生模型可能会记住偶然的细节,而教师模型的预测则可能利用相关样本之间的联系来平滑这些标签。这可以减少过拟合,但效果取决于教师模型:过度自信或校准不佳的教师模型可能会放大噪声,而非抑制噪声。普通的标签平滑按照预先定义的规则分配概率;蒸馏则提供随输入变化的分布,其有效性取决于学到的结构。

容量不匹配是实践中的一个主要问题。规模很大的教师模型所实现的决策函数,可能超出小型学生模型的表示能力;它也可能表达出一些区分,而学生模型在现有训练预算下无法学会这些区分。因此,提高教师模型的准确率并不保证得到更好的蒸馏后学生模型。研究者探索了采用中等容量的教师助理模型、分阶段迁移和选择性匹配等方法,使学习目标更易于掌握。这些方法旨在寻找有效的学习路径,而不是假定最强的教师模型始终是最优选择。

优化问题还取决于用哪种输入分布来定义模仿。学生模型若在一组固定的、由教师模型生成的语言序列上训练,接触到的就是由教师模型选定的前缀。在部署时,学生模型自身先前的预测会影响后续输入,微小的错误也可能使生成过程进入训练覆盖不足的区域。在策略蒸馏通过收集或评估学生模型生成的轨迹,并针对这些轨迹获取教师模型的指导,来应对这种不匹配。这类方法以增加教师模型查询次数和训练复杂度为代价,换取更贴近学生模型实际运行条件的监督信号。

没有一种理论能够解释所有形式的蒸馏。基于泛化(机器学习)、优化、函数逼近和表征几何的分析,分别揭示了不同情形下的机制。一个核心区别在于,逼近教师模型与解决底层任务并不是一回事。学生模型可能与教师模型意见不同,却仍然是正确的;也可能与教师模型高度一致,却同时复制了它的错误。因此,要证明知识迁移成功,仅有较小的模仿损失还不够,还需要考察模型在独立定义的任务和输入上的表现。

压缩、部署效率与实验评估

蒸馏是模型压缩工具箱中的一种方法。剪枝通过移除参数或结构化组件来压缩模型,而模型量化则以较低的数值精度表示权重和激活值。蒸馏改变的是训练目标,可以与上述任一种技术结合使用。经过剪枝或量化的模型可以在教师模型的监督下重新训练,以恢复部分损失的准确率。不过,与无损数据压缩不同,蒸馏通常无法精确保留原模型的输出。

参数量只能在一定程度上衡量效率。即使学生模型的权重更少,如果其运算无法很好地适配目标处理器,运行速度仍可能很慢。延迟取决于批大小、输入长度、内存数据搬移、数值精度、可用的计算内核以及设备架构。对于自回归生成,提示词处理与后续逐个词元生成具有不同的性能特征;键值缓存的内存占用也可能产生显著影响。因此,有关部署效率的说法必须有实测的神经网络推理性能作为依据,而不能仅凭模型大小估算。

训练出学生模型的成本也必须计算在内。教师模型的预训练可能已经属于沉没成本,但生成用于知识迁移的样本、保存 logits、开展多轮训练试验以及评估候选模型,都可能耗费大量资源。有意义的比较应将一次性的准备成本与每次查询节省的成本分开考量。当学生模型需要处理大量请求时,蒸馏可能具有经济吸引力;而对于使用量极低的应用,蒸馏带来的总体节省可能微乎其微。

准确率比较需要审慎设置基线。应将学生模型与采用相同架构、但未经蒸馏训练的模型进行比较,并尽可能使用相当的数据和优化投入。否则,归因于蒸馏的提升,实际上可能来自额外的无标签数据、更强的数据增强、更长的训练时间,或更好的训练调度方案。消融实验可以区分软目标、特征匹配、生成样本和辅助目标各自的作用。教师模型与学生模型也应采用相同的任务定义和评分流程进行评估。

独立的测试集必不可少,而温度、损失权重等设置则应由另设的验证集来指导。如果教师模型根据基准测试题目或与其近乎重复的内容生成训练样本,数据泄漏(机器学习)就可能使表面上的知识迁移效果虚高。在适当情况下,评估应涵盖相关的分布偏移、罕见类别,以及对不确定性敏感的情形。单一的汇总分数可能掩盖这样的问题:学生模型保住了常见情形下的准确率,却在规模虽小但十分重要的子集上出现性能下降。

访问限制、隐私与行为迁移的局限

能够通过何种接口访问教师模型,决定了可以采用哪些蒸馏方式。白盒访问允许查看参数和内部激活值。应用程序编程接口可能只提供生成的文本,或许还会提供有限的词元概率。在这种黑盒访问条件下,无法进行特征匹配,也可能无法进行完整分布匹配。使用返回的响应进行训练,仍然属于行为迁移,但它所呈现的教师模型行为更为有限,而且取决于解码方式。

蒸馏在技术上与模型提取存在交集,后者通过查询来构建一个近似另一系统的模型。两者的区别往往在于授权、目的和访问条件,而非数学机制截然不同。查询次数限制、可获得的置信度分数以及所查询样本的分布,都会影响能够还原多少行为。即使学生模型在模型提取基准测试中与目标模型高度吻合,仅用有限查询集训练出的学生模型,也未必能在查询覆盖范围之外复现目标模型的行为。

蒸馏本身并不能保证数据隐私。教师模型可能通过输出、生成的样本或过度自信的预测,传递有关其训练数据的信息。反过来,紧凑的学生模型也未必会保留教师模型记住的每一处细节。敏感信息是否会被保留下来,取决于教师模型、查询过程、训练流程以及攻击者的访问权限。要作出形式化的隐私保证,需要差分隐私等额外机制和假设,而不能仅依靠教师—学生架构。

可靠性与安全相关行为同样不会自动迁移。教师模型可能出现人工智能幻觉、带有偏见的关联、前后不一致的拒答行为或安全漏洞,而这些都可能进入学生模型的训练分布。学生模型也可能由于容量较小、输入处理方式改变或优化方式不同,以不同于教师模型的方式出错。常规回答相符,并不能证明两者在对抗性提示或异常运行条件下也表现等同。因此,专门针对安全性的评估必须考察实际部署的学生模型本身,而不能直接沿用对教师模型的结论。

对于通用系统,迁移的范围仍然难以界定。在一组任务上取得成功,只能证明模型胜任这些任务,并不意味着它已获得教师模型的全部能力。迁移语料中可能缺少足够体现长上下文处理、多语言能力、工具使用和罕见推理模式的样本。因此,研究关注如何选择信息量大的样本、衡量能力保留程度,以及区分真正的任务学习与对表面形式的模仿。当无法获知教师模型完整的训练分布和内部计算过程时,这些问题尤为重要。