跳元模型(Skip-gram)是一种机器学习模型,通过用每个词预测文本语料库中出现在它附近的词,来学习词的数值表示。2013年,托马斯·米科洛夫及其同事将其作为Word2vec的一部分提出。该模型生成的稠密向量称为词嵌入。出现在相似上下文中的词,往往会获得相似的表示。skip-gram 一词在文本分析中还有一个更早、也更宽泛的含义:不要求彼此相邻的词元所组成的序列。这一特征提取概念与用于预测的嵌入模型有关,但两者并不相同。
基本原理与训练样例
跳元模型以分布假说为依据。该假说认为,词的语言属性可以部分地从它出现的上下文中推断出来。模型并不是对词典释义进行编码,而是学习局部共现的模式。
考虑下面这个句子:
The small cat slept quietly.(那只小猫静静地睡着了。)
以 cat 为中心词,上下文窗口向左右各延伸两个位置,模型就会获得四个训练词对:
- (cat, the)
- (cat, small)
- (cat, slept)
- (cat, quietly)
每个词对的第一个元素是输入词,第二个元素是需要预测的上下文词。让窗口在语料库中逐步移动,就能生成大量这样的词对。
在标准形式中,左右两侧的上下文词共用同一个输出词表,模型不表示它们的精确位置。因此,模型学习的是局部关联,而不显式建模语序或句法。某些变体则可以对方向、距离或语法关系进行编码。
跳元模型的预测方向与连续词袋模型(CBOW)相反。CBOW将周围词的表示组合起来,用于预测中心词;跳元模型则用中心词分别预测周围的词。
模型架构与目标函数
设语料库包含词元 ,上下文窗口的半径为 。基本的跳元模型目标是最大化
每个观测到的“中心词—上下文词”词对都会贡献一个条件对数概率。模型分别训练各个上下文词的预测,而不是对整个周围序列建立联合模型。
两张嵌入表
对于大小为 的词表和维度为 的嵌入,模型通常包含两张通过训练学习得到的表:
- 每个中心词的输入嵌入 ;
- 每个上下文词的输出嵌入 。
中心词 与上下文词 的匹配程度由点积 衡量。在使用完整Softmax函数的形式中,
跳元模型可以表示为带有线性投影层的浅层人工神经网络。独热编码的输入实际上相当于选取输入嵌入表中的一行,无须进行非线性的隐藏层变换。
训练完成后,通常使用输入向量作为词的表示。也可以使用输出向量,或将两张表组合起来使用,但两者在定义上并不能互换。
计算成本
完整Softmax需要对每个训练词对遍历整个词表求和。每个词对的计算成本大致为 ,词表较大时,计算开销会很高。
因此,实际实现中通常采用层次Softmax或负采样。
高效训练方法
层次Softmax
层次Softmax将词表中的词放置在二叉树的叶节点上。预测一个词就转化为沿着从根节点到相应叶节点的路径,进行一系列二元决策。各次决策概率的乘积定义了该词的概率。
平衡树的路径长度约为 。Word2vec的实现通常使用霍夫曼树,为高频词分配较短的路径。与负采样不同,层次Softmax通过树结构定义了词表上的归一化概率分布。
负采样
负采样用二元判别任务取代对整个词表的预测。对于每个观测到的“中心词—上下文词”词对 ,模型学习将其与采样得到的噪声词对区分开来。
使用 个负样本时,一个正词对的期望目标函数为
其中
而 为噪声分布。在具体实现中,通过采样得到的词来估计这一期望。
正样本项提高观测词对的匹配程度;负样本项则降低采样噪声词对的匹配程度。一种广泛使用的噪声分布与一元词频的四分之三次幂成正比:
与直接按原始一元词频采样相比,这种变换使分布不那么集中于极高频词。
采用负采样的跳元模型通常简称为 SGNS,它并不直接优化完整Softmax模型中的归一化条件概率。它主要是一种表示学习目标,其得分并不会自动成为经过校准的词概率。
上下文选择与预处理
训练过程不仅取决于预测目标。
窗口大小。 较窄的窗口侧重于紧邻的语法关系和词汇关系。较宽的窗口通常能够捕捉更广泛的主题关联。这只是一种倾向,并不是对语义学与语法的严格划分。
动态窗口。 某些实现会在最大半径范围内随机改变实际使用的窗口半径。这样,距离较近的词就会比距离较远的词更频繁地成为训练上下文。
高频词下采样。 训练前,可以按一定概率丢弃极高频词元。这既能减少计算量,也会改变哪些共现关系在学习到的表示中占主导地位。在构建窗口之前移除词元,还可能改变实际的上下文距离。
词表阈值。 出现次数低于指定值的词可能被排除在外。这样可以减少内存占用,但也会使这些词无法获得常规训练得到的向量。
词元化。 对标点、大小写、句子边界以及中文分词的处理方式,决定了模型接触到的基本单位和上下文。短语检测可以将反复出现的多词表达式作为单个词表条目。
嵌入维度、负样本数量和训练量也会影响结果。如果语料库太小,无法可靠地估计向量,那么维度更高的向量未必更好。
几何性质与解释
学习到的表示位于一个向量空间中。常用的相似度度量是余弦相似度:
上下文相似的词往往会成为近邻,但上下文相似并不等同于同义。反义词可能出现在相似的结构中,而与同一主题相关的词即使含义不同,也可能彼此接近。
某些关系可以用向量偏移近似表示。常规的类比查询会寻找接近以下向量的向量:
这些模式曾推动词嵌入受到广泛关注,但其可靠性取决于具体关系、语料库、词表和评估过程。它们并不能证明模型具备通用的符号推理能力。
与共现矩阵的联系
SGNS也与矩阵分解有关。在假定每个“中心词—上下文词”得分都可以独立优化的理想化分析中,其最优解满足
如果噪声分布等于观测到的上下文词边缘分布,则上式变为
其中,点互信息用于衡量两个事件的共现程度相对于相互独立时有多强。
这解释了为什么SGNS常被描述为隐式分解一个经过平移的PMI矩阵。不过,这种等价关系有其限定条件:有限维向量会对所有得分施加共同约束,经验词对计数取决于预处理方式,而常用的四分之三次幂噪声分布引入的是随上下文变化的调整,而不只是常数平移。
历史发展与应用
2013年,米科洛夫及其同事在关于高效学习词表示的研究中提出了跳元模型和CBOW。同年,后续研究发展了负采样和高频词下采样,使得在大规模语料库上进行训练变得切实可行。
该模型之所以影响广泛,是因为它能够以相对简单的计算,从未经标注的文本中学习到有用的词向量。这些向量被用作词性标注、文档分类、信息检索及其他语言处理任务的特征或初始表示。
相关方法将这一训练原理扩展到了普通词窗口之外:
- 子词模型引入字符序列,使词语能够通过拼写组成部分共享信息。
- 基于依存关系的嵌入使用语法关系,而不只依据线性距离上的接近程度。
- 图嵌入将随机游走中遇到的节点视为上下文。
- 跨语言方法对不同语言的表示进行对齐或联合学习。
这些方法对“中心项—上下文”的学习框架进行了改造,其结果取决于如何定义底层实体及其上下文。
局限性
标准跳元模型为每个词表条目分配一个向量,因此会将同一个词的不同词义合并到单一表示中。例如,bank 一词既可用于金融语境,表示“银行”,也可用于地理语境,表示“河岸”,但模型不会针对不同的具体出现位置为其分配不同的嵌入。这限制了它对多义现象的处理能力。
低频词能提供的训练样例较少,其表示因此不够稳定。基本的词级模型也无法直接为未登录词生成经过训练的向量。子词扩展方法可以缓解这一局限,但也改变了表示方案。
由于跳元模型学习的是语料库中的关联,其向量可能再现训练数据中的社会刻板印象及其他失衡现象。相似度得分描述的是学习到的分布结构,而不是经过核实的客观事实。
结果可能随随机初始化、语料库构成、预处理方式和训练设置而变化。因此,对于在不同语料库上训练的嵌入之间表现出的变化,需要谨慎解释。
最后,标准跳元模型既不是完整的句子意义模型,也不是自回归的N元语言模型。它通常采用对称上下文窗口,同时包含前面的词和后面的词,而且SGNS不提供归一化的序列概率。相比之下,ELMo上下文词表示和大语言模型等上下文表示模型会计算随周围文本而变化的表示。