aiwiki.page
中文
计算机 / 人工智能 / distilbert · 产品

DistilBERT

DistilBERT 是通过知识蒸馏训练的紧凑型语言模型,以更少的参数和更快的推理保留 BERT 的大部分性能。

21 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
语言模型知识蒸馏BERT(语言模型)自然语言处理Transformer架构多头注意力位置编码词元化(自然语言…DistilBERT

DistilBERT 是一种预训练语言模型,通过知识蒸馏压缩 BERT 语言模型,将较大教师模型中的信息迁移到较小的学生模型中。该模型由 Hugging Face 的 Victor Sanh、Lysandre Debut、Julien Chaumond 和 Thomas Wolf 于 2019 年提出,旨在降低自然语言处理的计算成本,同时保留 BERT 的大部分语言理解能力。最初的英文版 DistilBERT 模型约有 6600 万个参数,而 BERT-base 约有 1.1 亿个参数;其 Transformer 编码器层数也由十二层减少为六层。

架构

DistilBERT 保留了 BERT 所采用的、基于编码器的 Transformer架构。每个编码器层都将多头注意力形式的自注意力与逐位置前馈网络相结合,并辅以残差连接和归一化。其表示是双向的:在注意力掩码允许的范围内,一个词元可以关注其左右两侧的词元。

最初的基础配置如下:

属性 DistilBERT 配置
编码器层数 6
隐藏维度 768
每层注意力头数 12
前馈网络中间层维度 3,072
最大输入长度 512 个词元
参数量 约 6600 万

模型主要缩减的是深度,而不是隐藏层宽度。让教师模型和学生模型保持相同的隐藏维度,可以简化权重迁移以及内部表示的比较。

DistilBERT 移除了 BERT 中用于区分句子片段的词元类型嵌入,也移除了池化器;后者负责将第一个词元的最终隐藏状态转换为序列级表示。它保留了词元嵌入和通过学习得到的位置编码嵌入。移除词元类型嵌入并不妨碍它处理句子对:仍然可以使用特殊的分隔词元来标记两段文本之间的边界。

标准英文模型检查点采用 BERT 的 WordPiece 分词与词元化方案。512 个词元的长度限制包含特殊词元,且这里指的是子词词元,不一定是完整单词。

预训练与知识蒸馏

DistilBERT 的核心贡献是在面向具体下游任务进行适配之前,就在通用预训练阶段应用蒸馏。预训练的 BERT 教师模型为较小的学生模型提供训练信号,使训练后的学生模型能够通过迁移学习支持多种应用。

最初的训练目标包含三个组成部分。

蒸馏损失

学生模型学习复现教师模型在词表项上的概率分布。与单一的目标标签不同,这种分布能够传达其他可能预测及其相对合理性的信息。

对于词表项 ii,经温度缩放的分布可写为

pi(T)=exp⁡(zi/T)∑jexp⁡(zj/T),p_i(T)=\frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)},

其中,ziz_i 是模型的 logit,TT 是温度。温度越高,分布越平缓。交叉熵目标促使学生模型经软化后的预测与教师模型相匹配。

掩码语言建模

学生模型还通过掩码语言建模进行学习:对选定的输入词元进行扰动,再由模型根据上下文预测其原始内容。这一自监督学习目标使学习以训练文本为依据,而不是完全依赖教师模型的预测。

原始研究采用了与 BERT 相同的两大英文文本来源——英文维基百科和多伦多 BookCorpus——但没有采用 BERT 的下一句预测目标。

隐藏状态对齐

余弦嵌入损失促使学生模型的隐藏状态向量与教师模型对应表示的方向相近。除了输出词表上的预测一致性之外,这还提供了有关内部表示的额外信号。

组合后的损失函数可示意为

L=αLdistill+βLMLM+γLcos,\mathcal{L} = \alpha \mathcal{L}_{\mathrm{distill}} + \beta \mathcal{L}_{\mathrm{MLM}} + \gamma \mathcal{L}_{\mathrm{cos}},

其中,各系数控制三个目标各自的贡献。学生模型使用教师模型中隔层选取的层进行初始化,而不是完全采用随机权重。原始实验发现,这种初始化方式和组合训练目标都有助于最终性能的提升。

已报告的性能

原始论文《DistilBERT:BERT 的蒸馏版本——更小、更快、成本更低、更轻量》报告称,在其评估设置中,DistilBERT 的参数量比 BERT-base 减少约 40%,运行速度提高约 60%,同时在 GLUE 基准上保留了 BERT 约 97% 的性能。

这些数字描述的是特定实验条件下的比较结果。“97%”指的是相对的综合基准性能,并不保证在每项任务上都能保留 97% 的准确率。同样,速度提升幅度也不是独立于硬件的固有属性。

实际的神经网络推理延迟取决于处理器、序列长度、批大小、数值精度、软件实现以及特定任务的预测头。参数量也不等同于运行时内存占用:除了模型权重,中间激活值和注意力计算也会占用内存。

适配与应用

DistilBERT 通常需要经过微调或其他针对特定任务的适配步骤,才能成为实用的应用模型。常见用途包括:

  • **文本分类:**情感分析、主题分类以及其他文档级或句子级预测。
  • **词元分类:**为单个词元分配标签,包括命名实体识别。
  • **抽取式问答:**预测给定段落中答案片段的起始和结束位置。
  • **句子对分类:**判断蕴含、语义等价等关系。
  • **信息检索:**在经过适当训练后,作为专门的信息检索或重排序系统中的组件。

标准的预训练 DistilBERT 检查点并不天然就是高质量的句子嵌入模型。通过向量相似度比较文本的应用,通常需要合适的池化方法和训练目标。

DistilBERT 是编码器,而不是自回归对话模型。其标准的掩码词元预测目标并不会训练它像 GPT 类模型那样生成任意续文。

变体与软件可用性

已发布的模型检查点包括区分大小写和不区分大小写的英文模型,以及从多语言 BERT 蒸馏而来的多语言版本。面向特定任务的检查点还添加了训练好的预测头,因此,预训练基础模型与情感分析或问答检查点不能直接互换使用。

DistilBERT 通过 Hugging Face 的 Transformers 生态系统发布,提供适用于 PyTorch 和 TensorFlow 等框架的实现。最初发布且广泛使用的模型检查点采用 Apache 许可证 2.0 版分发。

局限性及其与其他压缩方法的关系

DistilBERT 的模型容量较小,性能可能低于教师模型,下降幅度因任务、训练流程和评估数据而异。蒸馏并不保证教师模型的所有能力都能得到同样充分的迁移。

其双向自注意力仍保留标准 Transformer 的特性:注意力矩阵的规模随序列长度呈平方增长。减少层数可以降低计算成本,但不会改变这一增长关系,也不会消除模型检查点的输入长度限制。

学生模型还可能继承教师模型及其训练数据中的统计关联、偏见和错误。压缩本身并不能确保模型具备稳健性、事实可靠性或敏感信息保护能力。

DistilBERT 不同于神经网络量化;后者通过降低存储模型参数或进行计算时所用的数值精度来压缩模型。两种方法可以结合使用:蒸馏后的模型也可以进一步量化。尽管在可比条件下,DistilBERT 的推理成本低于 BERT-base,但训练蒸馏模型仍需要使用教师模型,并投入大量训练计算资源。