N元语言模型是一种统计语言模型,通过根据前面至多 个词元预测每个词元,为词元序列赋予概率。词元可以是词、字符,也可以是小于词的单位。在传统形式中,模型根据文本语料库中的计数学习条件概率,并针对罕见或未出现过的序列进行调整。N元模型曾是统计语音识别和机器翻译的核心,至今仍可用作高效的基线模型、紧凑的预测模型,以及大型系统的组成部分。
定义与数学基础
N元组是由 个连续词元构成的序列。对于词序列“the cat sat down”,其中的词二元组是“the cat”“cat sat”和“sat down”;三元组则是“the cat sat”和“cat sat down”。
N元语言模型利用此类序列估计下一个词元的概率分布。对于序列 ,根据概率论的链式法则,有
若以此前的所有词元为条件,就需要为数量极其庞大的可能历史估计概率分布。N元近似用历史的固定长度后缀替代完整历史:
在序列开头,上下文较短,也可以用特殊的序列起始符号补齐。这是一种有限阶的马尔可夫假设:一旦保留的上下文已知,更早的词元就不再直接影响下一个词元的概率。
主要的元数如下:
| 模型 | 预测下一个词元所用的上下文 |
|---|---|
| 一元模型, | 不使用前面的词元 |
| 二元模型, | 前面的一个词元 |
| 三元模型, | 前面的两个词元 |
| 四元模型, | 前面的三个词元 |
因此,N元语言模型的上下文长度是 ,而不是 。由此可见,N元语言模型与 阶马尔可夫模型可能采用不同的编号惯例:后者的阶数通常表示所保留的先前状态的数量。
句子模型通常包含句末词元。它的概率表示停止生成、而不是继续生成另一个普通词元的可能性。如果没有明确的停止机制或独立的长度模型,下一个词元概率的连乘积只能为指定长度的序列评分,本身并不能定义任意长度完整句子上的归一化概率分布。
基于计数的估计
最简单的估计方法是最大似然估计。设 为长度为 的上下文, 表示训练数据中词元 紧随 出现的次数。那么
其中, 是预测词表,包括模型会预测的所有边界符号或未知词元符号。
例如,假设“the cat”后面共有20次出现待预测词元,其中12次是“sat”。三元模型的最大似然估计为
采用常见的计数比值记法时,这通常写作 。分母必须统计的是:按照模型的边界处理惯例,后面存在相应预测项的历史出现次数。
单纯依靠原始计数存在两个重要缺陷:
- 训练数据中未出现过的后续词元会被赋予零概率。
- 对于从未出现过的历史,条件分布没有定义。
只要出现一个零概率事件,包含该事件的整个序列的概率就会变为零。由于合理的语言表达经常包含此前未见过的组合,实际使用的计数模型通常需要进行平滑处理。
平滑与不同上下文长度的结合
概率平滑通过重新分配概率质量,改善基于有限数据的估计,尤其是对罕见事件和未见事件的估计。它并不只是数值上的保障措施,还体现了一种预期:观测到的语料库并未穷尽语言的所有可能表达。
加法平滑
加法平滑为每一种可能的后续词元添加一个正的伪计数 :
令 ,便得到加一平滑,也称拉普拉斯平滑。该方法虽然简单,但在大词表的词级模型中,往往会给未见事件分配过多的概率,并使已观测事件的估计产生明显失真。
插值与回退
插值将基于不同上下文长度的概率分布组合起来。三元模型可以采用如下形式:
其中各权重非负,并满足 。权重可以是全局统一的,也可以取决于该上下文的可用证据。在高阶上下文缺失的情况下,较短上下文对应的分布本身也必须有定义。
回退则在相关N元组存在时使用高阶估计,否则退回到较短的上下文。折扣与归一化处理确保最终的条件概率之和为一。卡茨回退是历史上广泛使用的一种方法,通常与古德—图灵折扣结合使用。
插值与回退相互关联,但并不相同:即使高阶N元组已经出现过,插值仍可以纳入低阶证据。
克内瑟—内伊平滑
克内瑟—内伊平滑将折扣与对低阶概率的特殊处理相结合。其核心思想是:有用的低阶估计应反映一个词元所出现的上下文的多样性,而不只是它的总体频率。
一个词即使频繁出现,如果几乎总是跟在某个特定的前驱词后面,那么在陌生的前驱词之后,它也未必是一个好的预测结果。克内瑟—内伊平滑通过统计不同的前置上下文,利用延续概率体现这种区别。改进的克内瑟—内伊平滑使用多个折扣值,是传统词级N元模型中一种效果出色且应用广泛的方法。
词元化、词表与边界
模型的表现很大程度上取决于如何将文本划分为词元。
- 词级模型直接捕捉词汇组合和词语搭配,但可能需要很大的词表。
- 字符级模型的词表较小,也能为未见过的单词拼写赋予概率,但较短的字符上下文所涵盖的语言信息少于同样长度的词上下文。
- 子词模型以小于词的单位运作,可以采用WordPiece词元化等切分方法。
对于书写时词间并不统一使用空格的语言,构建词级模型时需要格外谨慎。例如,不同的中文分词规范会产生不同的词元集合和N元组计数。
固定词表的词级模型通常将训练数据中的低频词替换为未知词词元,并将测试时未见过的词映射到该词元。这在实际处理上解决了未登录词问题,但无法区分这些词各自的身份,也不能为它们的拼写分别赋予概率。
建立在子词词元之上的N元模型,并不等同于一元子词模型。后者通常指用于学习或选择切分方案的模型,而不只是普通的词级一元预测模型。
句子边界规则、大小写归一化、标点符号和数字的处理方式也会影响学到的分布。除非设计时明确将跨句上下文纳入考虑,否则模型通常不会统计跨越句子边界的N元组。
评估
N元模型通常在未用于估计参数的留出文本上进行评估。验证集可用于选择平滑参数、插值权重、词表阈值和模型元数。
一种标准指标是困惑度。对于包含 个预测词元的测试序列,
困惑度是平均负对数概率的指数,与交叉熵密切相关。数值越低,说明模型赋予观测到的测试词元的平均概率越高。
进行比较时,评估条件必须相容。词表、词元化方式、未知词映射以及句末词元的处理方式,都可能显著改变结果。词级困惑度与字符级困惑度不能直接比较。困惑度较低也不保证在所有下游应用中都有更好的表现。
历史发展与应用
符号序列的有限上下文概率模型,可以追溯到马尔可夫关于相依序列的研究。克劳德·香农在1948年的信息论研究中,考察了对英语的逐级统计近似,其中包括保留越来越多局部上下文的近似。这些工作帮助确立了语言可预测性、概率与信息之间的联系。
词级N元模型先后成为统计语音识别和统计机器翻译的重要组成部分。在语音识别中,它们有助于区分声学上相似的候选转写结果。在机器翻译中,传统上它们提供目标语言的流畅度评分,与翻译模型的评分配合使用。由于能够为任意候选序列赋予概率,它们也被用于搜索和排序系统。
其他应用包括:
- 输入预测与词语补全。
- 对拼写纠错候选项进行排序。
- 为光学字符识别中的备选结果评分。
- 基于字符的语种识别。
- 特定领域的文本评分与概率式文本生成。
N元语言模型应与仅仅使用N元组特征的系统区分开来。例如,BLEU翻译评估指标利用修正后的N元组精确率,衡量候选译文与参考译文的重合程度;这并不意味着它构成了一个预测下一个词元的概率模型。
计算特性
对于大小为 的词表,长度为 的N元组最多有 种。大多数N元组从未被观测到,因此实际实现通常只存储已观测条目构成的稀疏集合,而不是完整的表。
计数和概率可以使用字典树、基于哈希的数据结构或压缩表示来存储。剪枝会移除那些被认为对预测表现贡献不大的条目,从而降低内存占用和查找成本。大型模型还可以对存储的概率和回退权重进行量化。
当 固定时,为一个序列评分所需的下一个词元概率计算次数与序列长度成正比。查找成本取决于存储表示以及可能涉及的回退步骤。计算开销可预测,加上计数收集过程简单,是这类模型在实践中的重要优势。
局限性及其与神经模型的关系
主要的统计局限是数据稀疏性。增大 能提供更多上下文,但也会急剧减少每种具体上下文可用的证据。平滑可以缓解这一问题,却无法将其消除。
其他局限包括:
- **上下文受限:**保留窗口之外的依赖关系无法直接影响预测。
- **相关表达之间的泛化能力有限:**传统计数表不会自动在语义或形态相关的词元之间共享证据。
- **对领域敏感:**从一种语体或主题领域学到的概率,可能难以适用于另一种语体或领域。
- **内存需求增长:**保留大量高阶N元组可能需要可观的存储空间。
这些限制使模型难以捕捉长距离的句法依赖、篇章结构,以及语义学所涉及的许多意义现象。但这并不意味着N元统计不含语法信息:许多局部语法模式都在词元频率中有明显体现。
神经语言模型使用人工神经网络和学习得到的表示,在不同上下文之间共享统计信息。现代大语言模型能够以长得多的上下文为条件,并表示短上下文、固定阶数的计数模型无法直接表达的依赖关系。尽管如此,在重视低延迟、透明的局部估计、有限计算资源或可复现的统计基线的场景中,N元模型仍然很有用。