aiwiki.page
中文
语言 / n-gram-language-model

N元语言模型

N元语言模型根据前面固定数量的词元预测下一个词元,通常利用经平滑处理的频数估计序列概率。

23 个关键词4 个词条链接到这里5 个尚未撰写AI 撰写
语言模型文本语料库概率分布概率马尔可夫模型最大似然估计训练数据搭配N元语言模…

N元语言模型是一种统计语言模型,通过根据前面至多 n−1n-1 个词元预测每个词元,为词元序列赋予概率。词元可以是词、字符,也可以是小于词的单位。在传统形式中,模型根据文本语料库中的计数学习条件概率,并针对罕见或未出现过的序列进行调整。N元模型曾是统计语音识别和机器翻译的核心,至今仍可用作高效的基线模型、紧凑的预测模型,以及大型系统的组成部分。

定义与数学基础

N元组是由 nn 个连续词元构成的序列。对于词序列“the cat sat down”,其中的词二元组是“the cat”“cat sat”和“sat down”;三元组则是“the cat sat”和“cat sat down”。

N元语言模型利用此类序列估计下一个词元的概率分布。对于序列 w1,…,wTw_1,\ldots,w_T,根据概率论的链式法则,有

P(w1,…,wT)=∏t=1TP(wt∣w1,…,wt−1).P(w_1,\ldots,w_T) = \prod_{t=1}^{T}P(w_t\mid w_1,\ldots,w_{t-1}).

若以此前的所有词元为条件,就需要为数量极其庞大的可能历史估计概率分布。N元近似用历史的固定长度后缀替代完整历史:

P(wt∣w1,…,wt−1)≈P(wt∣wt−n+1,…,wt−1).P(w_t\mid w_1,\ldots,w_{t-1}) \approx P(w_t\mid w_{t-n+1},\ldots,w_{t-1}).

在序列开头,上下文较短,也可以用特殊的序列起始符号补齐。这是一种有限阶的马尔可夫假设:一旦保留的上下文已知,更早的词元就不再直接影响下一个词元的概率。

主要的元数如下:

模型 预测下一个词元所用的上下文
一元模型,n=1n=1 不使用前面的词元
二元模型,n=2n=2 前面的一个词元
三元模型,n=3n=3 前面的两个词元
四元模型,n=4n=4 前面的三个词元

因此,N元语言模型的上下文长度是 n−1n-1,而不是 nn。由此可见,N元语言模型与 nn 阶马尔可夫模型可能采用不同的编号惯例:后者的阶数通常表示所保留的先前状态的数量。

句子模型通常包含句末词元。它的概率表示停止生成、而不是继续生成另一个普通词元的可能性。如果没有明确的停止机制或独立的长度模型,下一个词元概率的连乘积只能为指定长度的序列评分,本身并不能定义任意长度完整句子上的归一化概率分布。

基于计数的估计

最简单的估计方法是最大似然估计。设 hh 为长度为 n−1n-1 的上下文,C(h,w)C(h,w) 表示训练数据中词元 ww 紧随 hh 出现的次数。那么

P^ML(w∣h)=C(h,w)∑v∈VC(h,v),\hat P_{\mathrm{ML}}(w\mid h) = \frac{C(h,w)}{\sum_{v\in V}C(h,v)},

其中,VV 是预测词表,包括模型会预测的所有边界符号或未知词元符号。

例如,假设“the cat”后面共有20次出现待预测词元,其中12次是“sat”。三元模型的最大似然估计为

P^ML(sat∣the cat)=1220=0.6.\hat P_{\mathrm{ML}}(\text{sat}\mid\text{the cat}) = \frac{12}{20} = 0.6.

采用常见的计数比值记法时,这通常写作 C(h,w)/C(h)C(h,w)/C(h)。分母必须统计的是:按照模型的边界处理惯例,后面存在相应预测项的历史出现次数。

单纯依靠原始计数存在两个重要缺陷:

  • 训练数据中未出现过的后续词元会被赋予零概率。
  • 对于从未出现过的历史,条件分布没有定义。

只要出现一个零概率事件,包含该事件的整个序列的概率就会变为零。由于合理的语言表达经常包含此前未见过的组合,实际使用的计数模型通常需要进行平滑处理。

平滑与不同上下文长度的结合

概率平滑通过重新分配概率质量,改善基于有限数据的估计,尤其是对罕见事件和未见事件的估计。它并不只是数值上的保障措施,还体现了一种预期:观测到的语料库并未穷尽语言的所有可能表达。

加法平滑

加法平滑为每一种可能的后续词元添加一个正的伪计数 α\alpha:

Pα(w∣h)=C(h,w)+α∑v∈VC(h,v)+α∣V∣.P_{\alpha}(w\mid h) = \frac{C(h,w)+\alpha} {\sum_{v\in V}C(h,v)+\alpha|V|}.

令 α=1\alpha=1,便得到加一平滑,也称拉普拉斯平滑。该方法虽然简单,但在大词表的词级模型中,往往会给未见事件分配过多的概率,并使已观测事件的估计产生明显失真。

插值与回退

插值将基于不同上下文长度的概率分布组合起来。三元模型可以采用如下形式:

P(wt∣wt−2,wt−1)=λ3P3(wt∣wt−2,wt−1)+λ2P2(wt∣wt−1)+λ1P1(wt),P(w_t\mid w_{t-2},w_{t-1}) = \lambda_3P_3(w_t\mid w_{t-2},w_{t-1}) + \lambda_2P_2(w_t\mid w_{t-1}) + \lambda_1P_1(w_t),

其中各权重非负,并满足 λ1+λ2+λ3=1\lambda_1+\lambda_2+\lambda_3=1。权重可以是全局统一的,也可以取决于该上下文的可用证据。在高阶上下文缺失的情况下,较短上下文对应的分布本身也必须有定义。

回退则在相关N元组存在时使用高阶估计,否则退回到较短的上下文。折扣与归一化处理确保最终的条件概率之和为一。卡茨回退是历史上广泛使用的一种方法,通常与古德—图灵折扣结合使用。

插值与回退相互关联,但并不相同:即使高阶N元组已经出现过,插值仍可以纳入低阶证据。

克内瑟—内伊平滑

克内瑟—内伊平滑将折扣与对低阶概率的特殊处理相结合。其核心思想是:有用的低阶估计应反映一个词元所出现的上下文的多样性,而不只是它的总体频率。

一个词即使频繁出现,如果几乎总是跟在某个特定的前驱词后面,那么在陌生的前驱词之后,它也未必是一个好的预测结果。克内瑟—内伊平滑通过统计不同的前置上下文,利用延续概率体现这种区别。改进的克内瑟—内伊平滑使用多个折扣值,是传统词级N元模型中一种效果出色且应用广泛的方法。

词元化、词表与边界

模型的表现很大程度上取决于如何将文本划分为词元。

  • 词级模型直接捕捉词汇组合和词语搭配,但可能需要很大的词表。
  • 字符级模型的词表较小,也能为未见过的单词拼写赋予概率,但较短的字符上下文所涵盖的语言信息少于同样长度的词上下文。
  • 子词模型以小于词的单位运作,可以采用WordPiece词元化等切分方法。

对于书写时词间并不统一使用空格的语言,构建词级模型时需要格外谨慎。例如,不同的中文分词规范会产生不同的词元集合和N元组计数。

固定词表的词级模型通常将训练数据中的低频词替换为未知词词元,并将测试时未见过的词映射到该词元。这在实际处理上解决了未登录词问题,但无法区分这些词各自的身份,也不能为它们的拼写分别赋予概率。

建立在子词词元之上的N元模型,并不等同于一元子词模型。后者通常指用于学习或选择切分方案的模型,而不只是普通的词级一元预测模型。

句子边界规则、大小写归一化、标点符号和数字的处理方式也会影响学到的分布。除非设计时明确将跨句上下文纳入考虑,否则模型通常不会统计跨越句子边界的N元组。

评估

N元模型通常在未用于估计参数的留出文本上进行评估。验证集可用于选择平滑参数、插值权重、词表阈值和模型元数。

一种标准指标是困惑度。对于包含 TT 个预测词元的测试序列,

PP⁡=exp⁡(−1T∑t=1Tln⁡P(wt∣ht)).\operatorname{PP} = \exp\left( -\frac{1}{T} \sum_{t=1}^{T} \ln P(w_t\mid h_t) \right).

困惑度是平均负对数概率的指数,与交叉熵密切相关。数值越低,说明模型赋予观测到的测试词元的平均概率越高。

进行比较时,评估条件必须相容。词表、词元化方式、未知词映射以及句末词元的处理方式,都可能显著改变结果。词级困惑度与字符级困惑度不能直接比较。困惑度较低也不保证在所有下游应用中都有更好的表现。

历史发展与应用

符号序列的有限上下文概率模型,可以追溯到马尔可夫关于相依序列的研究。克劳德·香农在1948年的信息论研究中,考察了对英语的逐级统计近似,其中包括保留越来越多局部上下文的近似。这些工作帮助确立了语言可预测性、概率与信息之间的联系。

词级N元模型先后成为统计语音识别和统计机器翻译的重要组成部分。在语音识别中,它们有助于区分声学上相似的候选转写结果。在机器翻译中,传统上它们提供目标语言的流畅度评分,与翻译模型的评分配合使用。由于能够为任意候选序列赋予概率,它们也被用于搜索和排序系统。

其他应用包括:

  • 输入预测与词语补全。
  • 对拼写纠错候选项进行排序。
  • 为光学字符识别中的备选结果评分。
  • 基于字符的语种识别。
  • 特定领域的文本评分与概率式文本生成。

N元语言模型应与仅仅使用N元组特征的系统区分开来。例如,BLEU翻译评估指标利用修正后的N元组精确率,衡量候选译文与参考译文的重合程度;这并不意味着它构成了一个预测下一个词元的概率模型。

计算特性

对于大小为 ∣V∣|V| 的词表,长度为 nn 的N元组最多有 ∣V∣n|V|^n 种。大多数N元组从未被观测到,因此实际实现通常只存储已观测条目构成的稀疏集合,而不是完整的表。

计数和概率可以使用字典树、基于哈希的数据结构或压缩表示来存储。剪枝会移除那些被认为对预测表现贡献不大的条目,从而降低内存占用和查找成本。大型模型还可以对存储的概率和回退权重进行量化。

当 nn 固定时,为一个序列评分所需的下一个词元概率计算次数与序列长度成正比。查找成本取决于存储表示以及可能涉及的回退步骤。计算开销可预测,加上计数收集过程简单,是这类模型在实践中的重要优势。

局限性及其与神经模型的关系

主要的统计局限是数据稀疏性。增大 nn 能提供更多上下文,但也会急剧减少每种具体上下文可用的证据。平滑可以缓解这一问题,却无法将其消除。

其他局限包括:

  • **上下文受限:**保留窗口之外的依赖关系无法直接影响预测。
  • **相关表达之间的泛化能力有限:**传统计数表不会自动在语义或形态相关的词元之间共享证据。
  • **对领域敏感:**从一种语体或主题领域学到的概率,可能难以适用于另一种语体或领域。
  • **内存需求增长:**保留大量高阶N元组可能需要可观的存储空间。

这些限制使模型难以捕捉长距离的句法依赖、篇章结构,以及语义学所涉及的许多意义现象。但这并不意味着N元统计不含语法信息:许多局部语法模式都在词元频率中有明显体现。

神经语言模型使用人工神经网络和学习得到的表示,在不同上下文之间共享统计信息。现代大语言模型能够以长得多的上下文为条件,并表示短上下文、固定阶数的计数模型无法直接表达的依赖关系。尽管如此,在重视低延迟、透明的局部估计、有限计算资源或可复现的统计基线的场景中,N元模型仍然很有用。