SentencePiece 是一个用于训练和应用文本词元化器的开源软件工具包,尤其适用于自然语言处理中的子词词元化器。它从文本中学习词表,再利用该词表将字符串转换为片段或整数形式的词元标识符。有些处理流程要求在学习子词之前先将文本切分成词,而 SentencePiece 可以直接用句子进行训练,无须采用特定语言的分词方法。它既支持字节对编码(BPE)和一元语言模型词元化,也支持字符模式和词模式。
用途与设计
分词与词元化决定了语言系统处理文本时使用的基本单位。以完整词为单位的词表可能变得非常庞大,而且无法直接表示所有陌生词、拼写变体,或通过能产性构词方式产生的词形。字符级词表规模较小,但通常会产生更长的序列。子词词元化提供了一种介于两者之间的表示方式:常见字符串可以拥有独立的词元,而较少见的字符串则可以拆分成更小的单位。
SentencePiece 将文本视为Unicode统一码字符序列,而不假定空格已经标明词的边界。这对于中文、日文等书写系统不总是用空格分隔词的语言尤其有用,也能减少对外部特定语言预处理工具的依赖。
其主要设计特点包括:
- **直接从句子文本训练:**不需要单独的分词阶段。
- **可配置词表大小:**训练的目标是构建具有指定条目数的词表,实际结果受模型类型、输入数据和配置的约束。
- **显式表示空格:**使用可见标记,使空格能够参与片段的构建。
- **集成规范化处理:**规范化规则与词元化器模型一同打包。
- **支持多种切分算法:**同一个工具包支持以不同方式学习和应用词表。
- **支持采样:**在兼容的配置下,可以为同一文本生成不同的切分结果。
这里的“语言无关”指的是不要求使用特定语言的分词器,并不意味着训练好的词表在所有语言上都能取得同样好的效果。
文本表示与规范化
空白标记
SentencePiece 通常用 ▁ 表示空格。它是 Unicode 字符 U+2581,名称为 LOWER ONE EIGHTH BLOCK(下方八分之一块)。这个标记是词元化器内部文本表示的一部分,也可能出现在学习得到的片段中。
例如,以下文本:
Hello world
一种示意性的切分结果可能是:
▁Hello ▁world
显示出来的片段之间的空格只是展示用的分隔符,不一定是底层文本中的字符。▁world 这样的片段将空格标记与后续字母组合在一起。
默认情况下,SentencePiece 还会在处理句子前添加一个虚拟的前缀空格。因此,句首的词也可以获得与其出现在句中其他位置时相同的带空格前缀表示。具体输出取决于训练得到的词表和规范化设置。
这种表示方式使解码器无须猜测词边界的位置:它可以利用片段及其空格标记重建文本。
规范化与可逆性
在切分之前,SentencePiece 可以对文本进行规范化。其标准默认设置采用基于 NFKC 的规范化方案,将许多兼容字符和字符序列映射为标准化形式。规范化规则可以更改或替换,也可以换成不作任何变换的恒等规范化器。
默认设置还会移除开头和结尾的空白,并将连续的空白合并。因此,先编码再解码,不一定能精确还原原始输入。
需要区分以下几点:
- 当规范化后的文本中的字符都可以表示时,切分过程可以保留该文本。
- 规范化可能丢弃原始文本中的某些差异。
- 未知字符的处理方式和特殊词元的行为可能引入额外差异。
因此,不应将 SentencePiece 可逆的空格表示方式,等同于对任意输入都能无条件地逐字节保留。
支持的词元化模型
一元语言模型词元化
一元语言模型词元化器为词表中的每个普通片段赋予一个概率。候选切分结果的得分由其中各片段概率的乘积决定。
对于规范化后的字符串 及其一种切分 ,
赋予该字符串的概率,是其所有有效切分的概率之和:
其中, 是词表所允许的切分结果集合。
训练从一个较大的候选词表开始,先估计片段的概率,再根据各片段对训练目标的贡献逐步移除片段。这个过程在保留必要字符和预留条目的同时,使词表大小逐渐接近指定值。
编码时,词元化器可以通过动态规划选择得分最高的切分结果。它也可以采样其他切分结果,而不是始终只选择唯一的最优结果。
这里的一元模型是针对词元片段建立的模型,与随后可能接收这些词元标识符的、规模大得多的神经语言模型不同。
字节对编码
BPE 从较小的单位开始,反复合并频繁出现的相邻单位对。它学习得到的合并结构决定了文本的切分方式。
在 SentencePiece 的 BPE 实现中,空格通过空白标记参与这一过程,但配置选项可以限制片段允许跨越哪些边界。因此,BPE 和一元语言模型词元化即使用同一个语料库,也可能学到不同的词表,并产生不同的切分结果。
“字节对编码”这一名称,并不意味着每个 SentencePiece BPE 模型都直接处理原始字节。它通常使用基于 Unicode 的文本表示;字节回退是另一个单独的选项。
字符模式与词模式
SentencePiece 还支持:
- 字符模式:以单个字符作为普通片段。
- 词模式:以词为单位,要求输入已经过适当的预分词处理。
这些模式提供了更简单的替代方案,但不具备 BPE 或一元语言模型词元化那样通过学习获得的子词分解能力。
训练与模型产物
词元化器使用训练数据语料库进行训练。重要设置包括词表大小、模型类型、字符覆盖率、规范化规则、特殊符号,以及对片段构建方式的限制。
字符覆盖率控制训练语料中的哪些字符会作为必需字符予以保留。对于字符数量庞大的书写系统,这一设置尤其重要。覆盖率有限的词元化器可能遇到无法直接表示的字符。
训练通常会生成两种主要产物:
- 模型文件:包含词表、片段得分或模型信息、规范化规范,以及处理器所需的配置。
- 词表文件:以人类可读的形式列出片段及其对应得分。
模型文件才是编码和解码时实际使用的产物;仅有文本形式的词表,并不能完整描述一个词元化器。
SentencePiece 提供命令行程序和编程接口,包括 C++ 实现和 Python 绑定。处理器既可以返回片段字符串,也可以返回整数标识符。这些标识符通常用于选取神经网络词嵌入表中的行。
词元化器与使用它训练的神经模型紧密耦合。替换词元化器、更改片段到标识符的映射,或修改规范化方式,通常都会改变模型输入的含义,即使词表大小保持不变也是如此。
特殊符号与未见字符
SentencePiece 将普通片段与具有特殊处理规则的符号区分开来。
未知词元条目用于表示无法以其他方式编码的输入。序列起始、序列结束和填充条目可以启用,并分配标识符。控制符号会受到特殊处理,其行为与普通文本片段不同。
用户自定义符号则有不同用途:当指定字符串出现在输入中时,可以将其保留为不可分割的片段。如果系统需要为指定标记提供稳定的表示,定义这类符号就很有用。
可选的字节回退机制,会用字符的 UTF-8编码所包含的字节来表示原本无法编码的字符。这可以减少对未知词元的依赖,但一个字符可能需要用多个词元表示。它无法恢复规范化过程中丢失的信息。
采样与子词正则化
确定性词元化会为一段文本生成固定的切分结果。子词正则化则让下游模型在训练过程中接触多种切分结果。
对于一元语言模型词元化,SentencePiece 可以根据模型得分对切分结果进行采样,并通过参数控制采样行为。它也支持 BPE-dropout,通过跳过部分合并操作来引入随机性。
这些方法起到数据增强的作用:可见文本基本保持不变,但词元序列会发生变化。在某些场景中,它们可以减少模型对某一种特定切分方式的依赖,并提高稳健性。其效果取决于任务、语料库、词元化器和训练过程,并非总能带来提升。
历史与应用
工藤拓(Taku Kudo)和 John Richardson 在 2018 年的一篇论文中介绍了 SentencePiece,论文题为《SentencePiece:用于神经文本处理的简单、语言无关的子词词元化器与反词元化器》(SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing)。它的发展与神经机器翻译密切相关,也源于将词表学习与可复现的文本预处理相结合的需求。
该工具包依据 Apache 许可证 2.0 发布,已用于机器翻译、多语言文本处理和大语言模型。T5 和最初的 LLaMA 模型都是采用 SentencePiece 词元化的系统实例。
SentencePiece 不是一种神经网络架构,本身也不会生成译文或文本。它提供的是一个表示层,将文本转换成离散单位,供下游模型使用,其中也包括基于 Transformer架构的模型。
局限与概念区分
词表质量取决于语料库。 如果词元化器主要使用某一种语言、领域或书写系统的文本训练,它可能会将其他文本切分成远长得多的序列。在发生分布偏移时,人名等名称、技术符号、非正式拼写和不熟悉的文字系统,可能无法得到高效表示。
词元数量会影响计算。 更长的词元序列会占用模型更多的上下文窗口空间,也可能增加处理成本。不同语言中等量的文本,不一定会产生相同数量的词元。
片段不一定是语言学单位。 一个词元可能是一个词、词的一部分、标点符号、带空格前缀的片段,或其他常见字符串。其边界不一定与语素或有意义表达的边界重合。
可复现性需要完整配置。 仅说明使用了“SentencePiece”,不足以复现一个词元化器。语料库、模型类型、词表、规范化规则、特殊符号定义、采样设置和实现版本,都可能影响结果。
工具包与其算法不是同一概念。 SentencePiece 不是 BPE 的同义词,也并非所有 SentencePiece 模型都使用一元算法。同样,其他库实现的词元化器可能采用类似算法,却不一定复现 SentencePiece 的规范化方式、空格表示或标识符分配。