aiwiki.page
中文
计算机 / 人工智能 / fasttext · 产品

FastText

FastText 是用于高效文本分类和词嵌入的开源库,以利用字符级子词特征表示词语而著称。

21 个关键词1 个词条链接到这里AI 撰写
词嵌入开源软件监督学习Facebook自然语言处理Word2vecN元组训练数据FastText

FastText(通常写作 fastText)是一个用于学习词嵌入和执行文本分类的开源软件库,也指一系列相关模型。它由 Facebook 人工智能研究院开发,将计算成本较低的模型与从词语及其组成字符序列中提取的特征相结合。其最广为人知的贡献是基于子词的表示方法:这种方法让相关词形能够共享信息,并能为训练词表中不存在的词构造向量。FastText 还提供了一套独立、高效的监督学习系统,用于为文本分配标签。

起源与范围

FastText 源于 Facebook 对高效自然语言处理的研究。Armand Joulin、Edouard Grave、Piotr Bojanowski 和 Tomas Mikolov 在 2016 年的论文《高效文本分类的实用技巧》(Bag of Tricks for Efficient Text Classification)中,介绍了一种简单的文本分类器,旨在以相对较低的计算成本取得良好性能。Piotr Bojanowski、Edouard Grave、Armand Joulin 和 Tomas Mikolov 则在《利用子词信息丰富词向量》(Enriching Word Vectors with Subword Information)中提出了子词嵌入方法;该论文于 2016 年以预印本形式发布,2017 年正式发表。

另一项相关研究《FastText.zip:压缩文本分类模型》(FastText.zip: Compressing Text Classification Models)提出了降低分类器存储需求的方法。后续工作又将预训练词向量扩展到了多种语言。

因此,FastText 这一名称可以指几种密切相关的事物:

  • 软件库及其命令行工具。
  • 基于子词的词嵌入方法。
  • 轻量级文本分类架构。
  • 通过该项目发布的预训练嵌入模型或分类模型。

这些用途共享一些实现技术,但并不完全相同。尤其需要注意,FastText 分类器并不一定使用字符级子词特征:这些特征可以配置,而且在标准监督学习配置中默认关闭。

基于子词的词嵌入

与 Word2vec 的关系

FastText 扩展了 Word2vec 的基本思路,即根据词语的共现模式学习词向量。它支持两种常见的训练架构:

  • 跳字模型(Skip-gram):根据目标词预测附近的词。
  • 连续词袋模型(Continuous Bag of Words,CBOW):根据周围的上下文预测目标词。

在普通的词级模型中,词表中的每个词项都有一个独立学习得到的表示。这使得模型难以为罕见词形学到有用的向量,也无法直接为词表之外的词提供表示。

FastText 通过将整词分量与字符 N元语法对应的分量相结合来表示一个词,从而解决这一问题。

字符 N 元语法

字符 N 元语法是具有指定长度的连续字符序列。FastText 会添加边界标记,以区分位于词首、词尾的序列与内容相同但位于词内部的序列。

例如,带有边界标记的形式 <cat> 包含 <ca、cat 和 at> 等字符三元组。在通常的词向量训练配置中,FastText 使用长度为 3 至 6 的字符 N 元语法,不过这些长度限制可以调整。

一种简化的表示形式为:

v(w)=∑g∈G(w)zg,\mathbf{v}(w)=\sum_{g\in G(w)}\mathbf{z}_g,

其中,G(w)G(w) 包含与词 ww 相关的子词特征,以及在可用时包含该词的整词特征;zg\mathbf{z}_g 是特征 gg 学习得到的向量。软件会根据具体操作对这些分量取平均;其核心性质在于,不同词语通过重叠的字符序列共享参数。

在跳字模型训练中,目标词 ww 与上下文词 cc 的得分可以定义为:

s(w,c)=v(w)Tuc,s(w,c)=\mathbf{v}(w)^{\mathsf T}\mathbf{u}_c,

其中,uc\mathbf{u}_c 是输出侧的上下文向量。训练会使实际观察到的目标词—上下文词对比采样得到的其他组合具有更高的匹配程度。

这种共享机制对屈折词形、派生词形和不常见词汇尤其有用。即使某些相关词形在训练数据中出现的次数很少,它们仍可受益于重叠的拼写模式。

词表外词

FastText 可以通过组合字符 N 元语法的向量,为未见过的词构造向量,而不需要单独训练的整词向量。

这种能力并不保证模型能准确表示未见词的含义。表示质量取决于其子词特征是否得到了有效训练,以及拼写形式的相似性是否反映了语义上的相似性。不相关的词可能具有相同的字符序列,而语义相关的词也可能具有截然不同的拼写。

FastText 的子词也不一定是语言学意义上的语素。与字节对编码不同,这种方法不会通过反复合并来学习由可变长度单元组成的词表,而是在指定长度范围内提取相互重叠的字符序列。

文本分类

FastText 的监督分类器将输入文本映射到一个或多个标签。其应用包括主题分类、情感分类和语言识别。

其基本架构类似于使用可学习的稠密特征向量的词袋模型:

  1. 提取词语,并按需提取词 N 元语法和字符 N 元语法。
  2. 查找每个特征对应的向量。
  3. 对特征向量取平均,得到文本表示。
  4. 使用线性输出层计算各标签的得分。

若 F(x)F(x) 是从文本 xx 中提取的特征集合或序列,则其隐藏表示可以写为:

h(x)=1∣F(x)∣∑f∈F(x)af.\mathbf{h}(x)=\frac{1}{|F(x)|}\sum_{f\in F(x)}\mathbf{a}_f.

对于 softmax 分类器,标签 yy 的概率为:

P(y∣x)=exp⁡ ⁣(byTh(x))∑y′exp⁡ ⁣(by′Th(x)).P(y\mid x)= \frac{\exp\!\left(\mathbf{b}_y^{\mathsf T}\mathbf{h}(x)\right)} {\sum_{y'}\exp\!\left(\mathbf{b}_{y'}^{\mathsf T}\mathbf{h}(x)\right)}.

特征嵌入和输出参数通过联合训练学习。这是一种浅层架构,而不是具有许多堆叠层的深度学习系统。

词 N 元语法保留了有限的局部顺序信息。例如,二元词组特征可以区分“not good”与“not”和“good”分别独立出现的情况。不过,取平均的操作并不能显式建模任意的长距离关系或完整的句子结构。

不同的输出目标函数支持不同的分类场景。Softmax 适用于标签互斥的情形,而一对其余的目标函数则支持同一文本可能对应多个标签的多分类场景。层次 softmax 也是一种选择,尤其适用于标签数量较多的情况。

效率与压缩

特征哈希

可能出现的子词特征数量极其庞大。FastText 使用哈希函数将大量特征映射到固定数量的桶中,从而避免为每个观察到的字符序列都建立显式的字典条目。

这种方法限制了特征表的大小,但不同特征可能发生哈希冲突,共用同一个向量。因此,桶的数量会影响内存使用量以及非预期参数共享的程度。

训练与输出计算

FastText 使用简单的向量运算和多线程实现,能够在中央处理器上高效运行,不需要图形处理器。

在词嵌入训练中,负采样避免了在每个训练步骤中都为整个输出词表计算得分。层次 softmax 则将输出选项组织成树,把扁平的预测问题转化为沿树中某条路径进行的一系列决策。

当训练或预测需要节省资源时,这些技术使 FastText 颇具吸引力。不过,嵌入维度、词表大小、子词桶数量以及输出标签数量仍可能带来可观的内存需求。

量化

FastText 支持通过神经网络量化构建紧凑的分类器,其中包括对参数向量进行乘积量化。压缩后的模型不再以全精度存储每个向量,而是使用学习得到的码本来表示向量的各个部分。特征剪枝可以进一步缩小模型体积。

压缩需要在存储空间、预测成本和准确率之间进行权衡。其效果取决于数据和压缩设置;更小的模型并不一定能完全保留原模型的性能。

软件与预训练资源

主要实现使用 C++ 编写,并提供命令行工具和 Python 绑定。常见操作包括训练嵌入、训练分类器、评估预测结果、查找相近的词,以及获取单个词的向量。

监督学习的训练数据通常将标签和文本放在同一行,并使用 __label__ 之类的标签前缀。

FastText 区分完整保存的模型和导出的向量表:

  • 二进制模型保留学习得到的参数和特征信息,以支持为未见词构造向量等操作。
  • 文本向量文件通常包含所列词表项的显式向量。仅靠该文件无法保留完整的子词模型。

该项目已发布多种语言的预训练向量,包括广泛使用的、基于维基百科和 Common Crawl 文本训练的 300 维向量。此外,项目还发布了语言识别模型。

提供多语言资源并不等同于实现跨语言对齐。针对不同语言独立训练的向量,不会自动共享一个使互译词彼此接近的坐标系。

应用与局限

FastText 嵌入可以作为信息检索、文档分析和其他语言处理任务的特征。其分类器适用于高吞吐量的标签分配,也可作为评估更复杂模型时的基线。

它的主要优势在于计算高效、不同词形之间能够共享参数,以及能够表示未见词。这些优势对于形态变化丰富的语言以及词汇数据稀疏的情况尤其重要。

其主要局限包括:

  • 静态表示。 在通常的用法中,一个词无论出现在哪个句子里,都会获得相同的向量。因此,多义词的不同含义会被混为一体。
  • 组合建模能力有限。 平均后的特征和较短的词 N 元语法无法直接捕捉复杂句法、作用范围较广的否定或长距离依赖。
  • 依赖预处理。 分词与词元化、规范化以及标点符号的处理都会影响模型能够学习的特征。对于不以空白字符分隔词语的语言,需要特别注意切分方式。
  • 子词共享并不完美。 拼写重叠可以传递有用信息,但也可能将无关的词形联系起来。拼写单位不一定对应有意义的语言单位。
  • 依赖语料。 罕见用法、训练语料覆盖不足的语言、带有偏见的关联以及分布偏移都可能降低可靠性。

与基于 Transformer架构的上下文模型不同,FastText 不会通过对序列施加注意力,为每个词元生成依赖上下文的表示。它不是大语言模型,也不是通用文本生成器。其主要用途是高效的表示学习和文本分类,效果取决于任务、训练语料、特征配置和评估条件。