aiwiki.page
中文

GloVe

GloVe 是一种词嵌入模型,通过拟合全局词语共现统计中的加权关系,学习词语的向量表示。

24 个关键词2 个词条链接到这里1 个尚未撰写AI 撰写
词嵌入自然语言处理矩阵分解Word2vec无监督学习自监督学习矩阵(数学)损失函数GloVe

GloVe 是 **Global Vectors for Word Representation(用于词表示的全局向量)**的缩写,是一种词嵌入模型,根据词语在文本语料库中的共现模式,学习以稠密数值向量表示词语。该模型由杰弗里·彭宁顿、理查德·索切尔和克里斯托弗·D. 曼宁于 2014 年提出,将整个语料库的统计信息与针对单个目标词—上下文词对定义的训练目标相结合。在相似语言环境中出现的词语往往会获得相近的表示,因此生成的向量可用于自然语言处理任务。

背景与动机

GloVe 属于分布语义学的范畴,这一领域通过语言使用模式研究意义。其基本前提是,一个词出现的上下文能够提供有关其含义的信息。例如,与制冷有关的词语很可能出现在描述低温的词语附近,而与燃烧有关的词语则更可能出现在描述高温的词语附近。

早期方法使用大型计数表表示词语,再通过矩阵分解压缩这些表。预测式方法则通过涉及词语及其局部上下文的目标函数来学习表示,其中具有代表性的是 Word2vec。GloVe 的设计旨在结合这两类方法的优势:既显式使用全局共现统计,又通过目标函数从词语与上下文的关系中学习紧凑向量。

这里的“全局”指对整个训练语料库中的共现信息进行汇总,并不意味着将一篇文档中的每个词都视为其他所有词的上下文,也不意味着模型直接表示完整文档。

GloVe 通常被归类为无监督学习,或更广义上的自监督学习,因为其训练信号是从文本中构造出来的,而不是由人工标注的语义标签提供。

共现统计

训练首先构建词语共现矩阵。令 XijX_{ij} 表示上下文词 jj 出现在目标词 ii 附近的频次。通常,以每次出现的词语为中心,用一个固定大小的窗口来界定上下文。

共现计数不一定是整数。预处理方案可以赋予距离较近的词语更高权重,例如按上下文词与目标词之间距离的倒数,对一次共现进行加权。对称窗口收集左右两侧的上下文;其他窗口设置则可以保留方向信息。

定义

Xi=∑kXik,Pij=XijXi.X_i=\sum_k X_{ik}, \qquad P_{ij}=\frac{X_{ij}}{X_i}.

那么,在所选计数方式下,PijP_{ij} 就是在目标词 ii 周围观察到上下文词 jj 的经验概率。

GloVe 的一个核心出发点是:共现概率的比值能够揭示词语之间的区别。考虑两个目标词,例如“冰”和“蒸汽”,以及一个上下文词 kk:

PikPjk.\frac{P_{ik}}{P_{jk}}.

“固体”这样的上下文词应当更偏向其中一个目标词,而“气体”则应更偏向另一个。与两个目标词都有关或都无关的上下文词,可能不太有助于区分它们。这启发了如下做法:通过向量差和点积来表示词语关系,使其近似反映共现概率的对数。

概率比值这一论证为模型提供了设计动机;实际的训练目标则作用于共现计数的加权对数。

模型与目标函数

对于词表中的每个词项,GloVe 都会学习一个目标向量 wiw_i、一个上下文向量 w~i\tilde w_i,以及相应的标量偏置 bib_i 和 b~i\tilde b_i。向量维数通常远小于词表中的词语数量。

损失函数为

J=∑i,j: Xij>0f(Xij)(wi⊤w~j+bi+b~j−log⁡Xij)2.J= \sum_{i,j:\,X_{ij}>0} f(X_{ij}) \left( w_i^\top \tilde w_j+b_i+\tilde b_j-\log X_{ij} \right)^2.

点积与偏置项之和近似于观测到的共现计数的对数:

wi⊤w~j+bi+b~j≈log⁡Xij.w_i^\top \tilde w_j+b_i+\tilde b_j \approx \log X_{ij}.

偏置项吸收了与词语总体频率有关的影响,因此向量不必完全通过点积来编码这些影响。

标准的加权函数为

f(x)={(x/xmax⁡)α,0<x<xmax⁡,1,x≥xmax⁡.f(x)= \begin{cases} (x/x_{\max})^\alpha, & 0<x<x_{\max},\\ 1, & x\geq x_{\max}. \end{cases}

原论文报告的实验采用了 α=0.75\alpha=0.75 和 xmax⁡=100x_{\max}=100。这些值是超参数,并非普遍适用的硬性要求。

加权函数降低了稀有共现的影响,因为这些计数可能不够可靠;同时,它也为极高频词对的权重设定了上限。对数运算还压缩了原始计数之间的巨大差异。

未观测到的词对

目标函数会忽略 Xij=0X_{ij}=0 的词对。这既避免了对零取对数,也使稀疏计算成为可能。同时,这也意味着标准目标函数并不会显式地将每个未观测词对的得分训练为较低值。

因此,不能简单地将 GloVe 理解为:把缺失的共现视作数值零,再对所得稠密矩阵进行平方误差拟合。如何处理未观测词对,是它与其他一些嵌入目标函数之间的重要区别。

最终词向量

训练会生成两张向量表:一张对应作为目标的词语,另一张对应作为上下文的词语。常见的最终表示是两者之和:

vi=wi+w~i.v_i=w_i+\tilde w_i.

也可以只使用其中一张表。具体采用哪种方式,取决于实现与评估设置。

训练与计算特性

典型的训练流程包括:

  1. 进行分词与词元化以及文本规范化。
  2. 构建词表,通常会设置最低词频阈值。
  3. 累积加权共现计数。
  4. 在观测到的词对上优化向量和偏置参数。
  5. 导出词向量,供后续使用。

原始实现采用 AdaGrad,这是一种基于自适应梯度的数学优化方法。训练并不需要深度人工神经网络:核心参数是向量表与偏置,通过加权最小二乘目标进行拟合。

若词表大小为 VV,嵌入维数为 dd,观测到的目标词—上下文词对数量为 NnzN_{\mathrm{nz}},则向量和偏置参数需要 O(Vd)O(Vd) 的存储空间。存储稀疏共现数据所需的空间与 NnzN_{\mathrm{nz}} 成正比。遍历这些词对训练一轮,所需的算术运算量约为 O(Nnzd)O(N_{\mathrm{nz}}d)。

这些估计不包括预处理、排序以及实现层面的开销。构建共现统计可能占据总成本的相当大一部分,对大型语料库而言尤其如此。

结果取决于语料库构成、上下文窗口大小、词表筛选方式、向量维数、优化设置以及训练时长。大小写与标点的处理方式也会改变哪些词语共用同一个表示,以及哪些共现会被计入。

特性与用途

GloVe 将词语置于学习得到的向量空间中。通常使用余弦相似度衡量相似性:

sim⁡(u,v)=u⊤v∥u∥∥v∥.\operatorname{sim}(u,v)= \frac{u^\top v}{\lVert u\rVert\lVert v\rVert}.

相近的向量往往对应含义或使用模式相关的词语。不过,分布相似并不等同于同义:反义词也可能出现在相似上下文中,因而获得相近的向量。

某些关系可以用向量偏移近似表示。例如,词语类比评估会检验:一对词语所表达的关系,能否通过向量运算迁移到另一对词语上。这类模式是词表示的经验性特征,而不是必然成立的语言规则,也不能作为模型具备通用推理能力的证据。

常见应用包括:

  • 作为神经模型的输入表示。 预训练向量可用于初始化词嵌入层;在特定任务的训练过程中,该层既可以保持固定,也可以接受微调。
  • 文本分类。 可以对词向量取平均,也可以使用卷积神经网络或循环神经网络等模型进行处理。
  • 相似度计算与检索。 向量比较可用于词汇匹配、聚类,以及信息检索系统的相关组件。
  • 语言分析。 研究者可以考察语料库所编码的关联,但分析须受到数据与模型局限的约束。

已发布的 GloVe 预训练向量包括从维基百科与 Gigaword、Common Crawl 以及 Twitter 文本中学习得到的向量。这些是彼此不同的资源,各有不同的词表、预处理方式、维数和语料库特征,而不是一个可以随意互换的统一模型。

与其他表示方法的比较

Word2vec

GloVe 和 Word2vec 通常都生成静态词向量,但训练过程有所不同。GloVe 显式构建共现统计,并拟合加权的对数计数关系。Word2vec 的连续词袋和跳字架构则通过涉及局部上下文的预测目标来学习。

两者的区别不能简单概括为“全局信息与局部信息之别”。汇总局部样本同样能使 Word2vec 捕捉整个语料库中的规律,而且某些预测式嵌入目标与矩阵分解之间存在数学联系。

基于计数的表示

与原始计数向量或词频—逆文档频率表示相比,GloVe 能够生成紧凑的稠密向量,在相关词语之间共享统计信息。其代价是直接可解释性降低:各个维度通常不再对应具体的上下文词,也不对应定义明确的语义属性。

上下文化表示

GloVe 通常为词表中的每个词项分配一个向量,不因其所在句子而改变。因此,英语词“bank”无论表示金融机构还是河岸,使用的都是同一个表示。

BERT 语言模型等上下文化模型会根据周围文本生成表示。这些模型能更直接地区分同一词元的不同用法,但通常也比查找固定的 GloVe 向量需要更多计算。GloVe 是一种词汇表示模型,而不是用于生成文本的语言模型。

局限性与评估

多义性与上下文。 单一向量混合了一个词的不同含义与用法。GloVe 不直接建模句子层面的组合关系、语法结构、否定或篇章。

词表覆盖范围。 标准 GloVe 没有内置机制,无法根据未见词的拼写或子词组成来构建向量。低频词的向量估计可能较差。

对语料库的依赖。 词表示反映了其训练数据。当发生分布偏移时,例如从通用网络文本转向专业术语或非正式对话时,性能可能发生变化。

社会关联。 共现统计可能编码语料库中存在的刻板印象及其他系统性关联。不应将向量的接近程度或类比结果解读为关于个人或社会群体的事实性断言。

评估的局限。 相似度和类比基准只衡量嵌入的某些特性,不能反映其对所有下游任务的实用性。在某个基准上表现出色,并不能证明模型在分类、检索或序列标注任务中也有更优表现。

几何解释。 学习得到的坐标并不唯一。对目标向量空间和上下文向量空间进行变换,可以保持拟合的点积不变,因此不应将单个维度视为内在固有的语义量。即使语料库和超参数相似,在比较分别训练得到的空间时,也需要谨慎。