RoBERTa 是一系列预训练语言模型,由 Facebook AI 的研究人员及其合作者于 2019 年在论文《RoBERTa:一种经过稳健优化的 BERT 预训练方法》中提出。它以 BERT 语言模型为基础,使用双向 Transformer架构的编码器来学习文本的上下文表示。其核心贡献在于表明:通过大幅改进 BERT 的训练流程,包括使用更多数据、更大的批次、动态掩码以及调整输入构造方式,无须从根本上改变模型架构,也能显著提升性能。RoBERTa 后来成为自然语言处理领域广泛使用的基础模型,尤其常用于文本分类、问答及其他语言理解任务。
背景与发展
BERT 确立了一种成功的语言模型预训练方法:先从无标注文本中学习通用表示,再通过微调使模型适应特定任务。其成果推动了新架构和新预训练目标的发展。
RoBERTa 的研究考察了一个问题:一些看似优于 BERT 的改进,是否其实来自训练资源和实现方式的差异。研究涉及掩码方式、下一句预测目标、批次大小、训练时长,以及训练数据的规模与构成。
该研究得出的结论是,相对于其架构所能达到的水平,原始 BERT 模型的训练远不充分。采用调整后的训练方案后,RoBERTa 在 GLUE、SQuAD 和 RACE 等重要基准测试上达到或超过了同期系统。这些结果支持了一个方法论观点:比较预训练模型时,必须考虑数据、计算资源和优化方法,而不能只看架构差异。
架构与模型规模
RoBERTa 保留了 BERT 的纯编码器结构。每一层都结合了多头注意力形式的自注意力机制、逐位置前馈网络、残差连接和层归一化。双向注意力使一个词元的表示能够同时依赖输入中位于它之前和之后的词元。
最初广泛发布的配置如下:
| 配置 | 编码器层数 | 隐藏层维度 | 注意力头数 | 参数量(约) |
|---|---|---|---|---|
| RoBERTa-base | 12 | 768 | 12 | 1.25 亿 |
| RoBERTa-large | 24 | 1,024 | 16 | 3.55 亿 |
这些层配置分别与 BERT-base 和 BERT-large 对应,但 RoBERTa 的词表更大,因此嵌入表也更大。标准模型支持的输入长度上限为 512 个词元,其中包括特殊词元。
RoBERTa 使用通过学习得到的位置编码,以位置嵌入的形式表示词元顺序。与 BERT 最初的双片段设置不同,RoBERTa 不使用不同的可学习片段嵌入来区分句子对的两个部分。不过,输入片段之间的边界仍由特殊分隔词元标记。
分词与词元化
RoBERTa 使用字节级字节对编码,而非 BERT 的 WordPiece 词元化器。其词表约有 50,000 个条目,通过组合高频多字节序列和更基础的字节级单元来表示文本。
这种分词与词元化方案可以表示任意输入,遇到不熟悉的词时,无须使用传统的未知词词元。不过,它并不保证对每一种语言或文字系统都能进行高效切分或具备较强的理解能力。罕见词、专业术语,以及训练数据中覆盖不足的语言,可能需要用很多词元才能表示。
由于空白字符会影响字节级词元化,同一个可见单词出现在字符串开头或空格之后时,可能对应不同的词元表示。RoBERTa 的词元编号和特殊词元约定不能与 BERT 的互换使用。
预训练目标
RoBERTa 主要通过掩码语言建模进行训练,这是一种自监督学习方式。训练时会扰动选定位置的词元,模型则学习根据周围文本预测原始词元。
对于词元序列 、选定位置 和受扰动后的序列 ,其目标可写为
其中, 表示模型参数。损失函数只在选定的预测位置上计算,而不是在所有输入位置上计算。
按照 BERT 的基本扰动方案,大约 15% 的词元会被选中。在这些被选中的词元中,80% 被替换为掩码词元,10% 被替换为随机选取的词元,另有 10% 保持不变。因此,并不是每个预测目标都会被显式遮盖。
动态掩码
RoBERTa 使用动态掩码:训练过程中再次遇到同一个序列时,掩码模式可以发生变化。这样,模型就能接触到由同一段文本构造出的不同预测问题。
它与 BERT 的区别,并不在于 BERT 对每段文本只使用一种掩码模式。BERT 最初的预处理流程可以生成多个带掩码的副本,但这些掩码都是预先固定的。RoBERTa 则在训练过程中动态生成掩码。
移除下一句预测
原始 BERT 的训练包含一个二分类的下一句预测目标,要求模型判断一个文本片段是否在源材料中紧接另一个片段。RoBERTa 移除了这一目标,仅使用掩码词元预测进行训练。
实验发现,移除下一句预测,并配合适当的较长文本序列构造方式,可以保持或改善下游任务的性能。这一结果只针对所测试的训练设置,并不意味着所有涉及句子关系的目标都无效。
数据与优化
RoBERTa 的完整训练数据混合集包含约 160 GB 的未压缩英文文本,远多于原始 BERT 实验使用的约 16 GB。其数据来源包括:
- BookCorpus 和英文维基百科;
- CC-News,一个英文新闻文章集合;
- OpenWebText,一个网页文本集合;
- Stories,一个从 Common Crawl 数据中提取的语料库。
与原始 BERT 的设置相比,RoBERTa 还采用了更大的训练批次,并延长了训练时间。报告中性能最强的配置使用每批约 8,000 个序列,训练最多进行 500,000 次更新。
这些变化影响学习过程的不同方面。更加多样的文本拓宽了模型可利用的信息范围;更多更新让模型有更多机会从中学习;更大的批次则会改变优化过程的行为和效率。恰当的学习率调度及其他超参数仍然十分重要:仅增加批次大小并不能保证性能提升。
该研究也考察了序列构造方式,包括将完整句子打包成序列,以及如何利用文档边界。因此,RoBERTa 的性能提升来自一套综合训练方案,而非某一项架构创新。
适配与应用
RoBERTa 生成的是上下文相关的词元表示:一个词的输出向量会随着周围文本的变化而变化。这使其适合在多种任务之间进行迁移学习。
序列分类。 可以在一个代表整个序列的特殊词元的表示之上接入分类头。应用包括情感分析、主题分类和自然语言推理。
词元分类。 可以针对各个词元的表示进行预测,用于命名实体识别等任务。当一个词被拆分为多个子词词元时,标签和预测结果必须与这种切分方式对齐。
抽取式问答。 将问题和段落一起编码,再由输出层预测答案片段在段落中的起始和结束位置。这与自由生成答案不同。
句子对评分。 通过联合编码两段文本,RoBERTa 可以评估蕴含或相关性等关系。这可用于信息检索中的交叉编码器重排序,不过,对每个候选文本对都进行联合处理,计算成本可能很高。
文本表示。 RoBERTa 可以为下游模型提供特征。不过,仅对未经额外训练的词元向量取平均,并不一定能得到适合句子相似度任务的高质量嵌入;通常还会进行针对特定任务的训练或对比学习。
最初的实现通过 fairseq 发布,后者是一个基于 PyTorch 的建模工具包。此后,其他广泛使用的模型库也提供了 RoBERTa。
与其他语言模型的关系
RoBERTa 是编码器模型,而非自回归文本生成模型。它的预训练任务利用双向上下文来预测选定词元。相比之下,生成式预训练变换器(GPT)系列模型通常利用前文来预测下一个词元。
这种差异决定了它们的典型用途。RoBERTa 很适合生成表示、对输入进行分类,以及定位文本片段。其预训练目标并不直接提供对话模型通常采用的从左到右生成流程。这并不意味着编码器表示不能用于生成系统,但需要额外的架构或训练。
RoBERTa 也不同于采用编码器—解码器架构的模型;后者将输入编码器与经过训练、用于生成输出序列的解码器相结合。
XLM-R,也称 XLM-RoBERTa,是一个相关的多语言模型,使用多语言网页文本进行训练。它并非简单地将原始英文 RoBERTa 模型用于更多语言,而是拥有自己的训练语料、词表和模型配置。
局限与评估
RoBERTa 也具有大型预训练文本编码器常见的局限:
- 输入长度有限。 标准模型检查点无法直接编码任意长度的文档。将文档切分成块,可能会丢失相距较远的段落之间的关系。此外,稠密自注意力的注意力计算成本随序列长度呈平方增长。
- 依赖训练分布。 当发生分布偏移时,包括领域、体裁、术语或语言发生变化,模型性能可能下降。
- 学习到的表示存在偏见。 网页、新闻和书籍数据中的模式可能会在模型输出中重现。基准测试的总体得分很高,并不意味着模型对不同人口群体或语言变体的表现同样出色。
- 缺乏事实保证。 预测看似合理的被掩码词元,不等于依据证据核实陈述。RoBERTa 本身并不是一个能够保证信息及时或权威的知识来源。
- 评估结果对设置敏感。 微调结果取决于随机种子、预处理、训练调度和模型选择。数据泄漏(机器学习)以及训练材料与评估样本之间的重叠,也可能使结果更难解释。
RoBERTa 的历史重要性,部分在于它改变了人们理解语言建模进展的方式:即使底层编码器架构基本不变,通过更严谨地控制训练过程并投入更多资源,也能取得更好的基准测试成绩。