{
  "id": "n-gram-language-model",
  "title": "N元语言模型",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "N元语言模型根据前面固定数量的词元预测下一个词元，通常利用经平滑处理的频数估计序列概率。",
  "category": "language",
  "subcategory": "",
  "type": "concept",
  "aliases": [
    "n-gram语言模型",
    "N元统计语言模型"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/n-gram-language-model/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/n-gram-language-model/",
      "json": "https://aiwiki.page/en/n-gram-language-model.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "N元语言模型是一种统计语言模型，通过根据前面至多 \\(n-1\\) 个词元预测每个词元，为词元序列赋予概率。词元可以是词、字符，也可以是小于词的单位。在传统形式中，模型根据文本语料库中的计数学习条件概率，并针对罕见或未出现过的序列进行调整。N元模型曾是统计语音识别和机器翻译的核心，至今仍可用作高效的基线模型、紧凑的预测模型，以及大型系统的组成部分。"
    },
    {
      "heading": "定义与数学基础",
      "text": "N元组是由 \\(n\\) 个连续词元构成的序列。对于词序列“the cat sat down”，其中的词二元组是“the cat”“cat sat”和“sat down”；三元组则是“the cat sat”和“cat sat down”。\n\nN元语言模型利用此类序列估计下一个词元的概率分布。对于序列 \\(w_1,\\ldots,w_T\\)，根据概率论的链式法则，有\n\n\\[P(w_1,\\ldots,w_T) = \\prod_{t=1}^{T}P(w_t\\mid w_1,\\ldots,w_{t-1}).\\]\n\n若以此前的所有词元为条件，就需要为数量极其庞大的可能历史估计概率分布。N元近似用历史的固定长度后缀替代完整历史：\n\n\\[P(w_t\\mid w_1,\\ldots,w_{t-1}) \\approx P(w_t\\mid w_{t-n+1},\\ldots,w_{t-1}).\\]\n\n在序列开头，上下文较短，也可以用特殊的序列起始符号补齐。这是一种有限阶的马尔可夫假设：一旦保留的上下文已知，更早的词元就不再直接影响下一个词元的概率。\n\n主要的元数如下：\n\n模型 | 预测下一个词元所用的上下文\n一元模型，\\(n=1\\) | 不使用前面的词元\n二元模型，\\(n=2\\) | 前面的一个词元\n三元模型，\\(n=3\\) | 前面的两个词元\n四元模型，\\(n=4\\) | 前面的三个词元\n\n因此，N元语言模型的上下文长度是 \\(n-1\\)，而不是 \\(n\\)。由此可见，N元语言模型与 \\(n\\) 阶马尔可夫模型可能采用不同的编号惯例：后者的阶数通常表示所保留的先前状态的数量。\n\n句子模型通常包含句末词元。它的概率表示停止生成、而不是继续生成另一个普通词元的可能性。如果没有明确的停止机制或独立的长度模型，下一个词元概率的连乘积只能为指定长度的序列评分，本身并不能定义任意长度完整句子上的归一化概率分布。"
    },
    {
      "heading": "基于计数的估计",
      "text": "最简单的估计方法是最大似然估计。设 \\(h\\) 为长度为 \\(n-1\\) 的上下文，\\(C(h,w)\\) 表示训练数据中词元 \\(w\\) 紧随 \\(h\\) 出现的次数。那么\n\n\\[\\hat P_{\\mathrm{ML}}(w\\mid h) = \\frac{C(h,w)}{\\sum_{v\\in V}C(h,v)},\\]\n\n其中，\\(V\\) 是预测词表，包括模型会预测的所有边界符号或未知词元符号。\n\n例如，假设“the cat”后面共有20次出现待预测词元，其中12次是“sat”。三元模型的最大似然估计为\n\n\\[\\hat P_{\\mathrm{ML}}(\\text{sat}\\mid\\text{the cat}) = \\frac{12}{20} = 0.6.\\]\n\n采用常见的计数比值记法时，这通常写作 \\(C(h,w)/C(h)\\)。分母必须统计的是：按照模型的边界处理惯例，后面存在相应预测项的历史出现次数。\n\n单纯依靠原始计数存在两个重要缺陷：\n\n- 训练数据中未出现过的后续词元会被赋予零概率。\n- 对于从未出现过的历史，条件分布没有定义。\n\n只要出现一个零概率事件，包含该事件的整个序列的概率就会变为零。由于合理的语言表达经常包含此前未见过的组合，实际使用的计数模型通常需要进行平滑处理。"
    },
    {
      "heading": "平滑与不同上下文长度的结合",
      "text": "概率平滑通过重新分配概率质量，改善基于有限数据的估计，尤其是对罕见事件和未见事件的估计。它并不只是数值上的保障措施，还体现了一种预期：观测到的语料库并未穷尽语言的所有可能表达。\n\n加法平滑\n\n加法平滑为每一种可能的后续词元添加一个正的伪计数 \\(\\alpha\\)：\n\n\\[P_{\\alpha}(w\\mid h) = \\frac{C(h,w)+\\alpha} {\\sum_{v\\in V}C(h,v)+\\alpha|V|}.\\]\n\n令 \\(\\alpha=1\\)，便得到加一平滑，也称拉普拉斯平滑。该方法虽然简单，但在大词表的词级模型中，往往会给未见事件分配过多的概率，并使已观测事件的估计产生明显失真。\n\n插值与回退\n\n插值将基于不同上下文长度的概率分布组合起来。三元模型可以采用如下形式：\n\n\\[P(w_t\\mid w_{t-2},w_{t-1}) = \\lambda_3P_3(w_t\\mid w_{t-2},w_{t-1}) + \\lambda_2P_2(w_t\\mid w_{t-1}) + \\lambda_1P_1(w_t),\\]\n\n其中各权重非负，并满足 \\(\\lambda_1+\\lambda_2+\\lambda_3=1\\)。权重可以是全局统一的，也可以取决于该上下文的可用证据。在高阶上下文缺失的情况下，较短上下文对应的分布本身也必须有定义。\n\n回退则在相关N元组存在时使用高阶估计，否则退回到较短的上下文。折扣与归一化处理确保最终的条件概率之和为一。卡茨回退是历史上广泛使用的一种方法，通常与古德—图灵折扣结合使用。\n\n插值与回退相互关联，但并不相同：即使高阶N元组已经出现过，插值仍可以纳入低阶证据。\n\n克内瑟—内伊平滑\n\n克内瑟—内伊平滑将折扣与对低阶概率的特殊处理相结合。其核心思想是：有用的低阶估计应反映一个词元所出现的上下文的多样性，而不只是它的总体频率。\n\n一个词即使频繁出现，如果几乎总是跟在某个特定的前驱词后面，那么在陌生的前驱词之后，它也未必是一个好的预测结果。克内瑟—内伊平滑通过统计不同的前置上下文，利用延续概率体现这种区别。改进的克内瑟—内伊平滑使用多个折扣值，是传统词级N元模型中一种效果出色且应用广泛的方法。"
    },
    {
      "heading": "词元化、词表与边界",
      "text": "模型的表现很大程度上取决于如何将文本划分为词元。\n\n- 词级模型直接捕捉词汇组合和词语搭配，但可能需要很大的词表。\n- 字符级模型的词表较小，也能为未见过的单词拼写赋予概率，但较短的字符上下文所涵盖的语言信息少于同样长度的词上下文。\n- 子词模型以小于词的单位运作，可以采用WordPiece词元化等切分方法。\n\n对于书写时词间并不统一使用空格的语言，构建词级模型时需要格外谨慎。例如，不同的中文分词规范会产生不同的词元集合和N元组计数。\n\n固定词表的词级模型通常将训练数据中的低频词替换为未知词词元，并将测试时未见过的词映射到该词元。这在实际处理上解决了未登录词问题，但无法区分这些词各自的身份，也不能为它们的拼写分别赋予概率。\n\n建立在子词词元之上的N元模型，并不等同于一元子词模型。后者通常指用于学习或选择切分方案的模型，而不只是普通的词级一元预测模型。\n\n句子边界规则、大小写归一化、标点符号和数字的处理方式也会影响学到的分布。除非设计时明确将跨句上下文纳入考虑，否则模型通常不会统计跨越句子边界的N元组。"
    },
    {
      "heading": "评估",
      "text": "N元模型通常在未用于估计参数的留出文本上进行评估。验证集可用于选择平滑参数、插值权重、词表阈值和模型元数。\n\n一种标准指标是困惑度。对于包含 \\(T\\) 个预测词元的测试序列，\n\n\\[\\operatorname{PP} = \\exp\\left( -\\frac{1}{T} \\sum_{t=1}^{T} \\ln P(w_t\\mid h_t) \\right).\\]\n\n困惑度是平均负对数概率的指数，与交叉熵密切相关。数值越低，说明模型赋予观测到的测试词元的平均概率越高。\n\n进行比较时，评估条件必须相容。词表、词元化方式、未知词映射以及句末词元的处理方式，都可能显著改变结果。词级困惑度与字符级困惑度不能直接比较。困惑度较低也不保证在所有下游应用中都有更好的表现。"
    },
    {
      "heading": "历史发展与应用",
      "text": "符号序列的有限上下文概率模型，可以追溯到马尔可夫关于相依序列的研究。克劳德·香农在1948年的信息论研究中，考察了对英语的逐级统计近似，其中包括保留越来越多局部上下文的近似。这些工作帮助确立了语言可预测性、概率与信息之间的联系。\n\n词级N元模型先后成为统计语音识别和统计机器翻译的重要组成部分。在语音识别中，它们有助于区分声学上相似的候选转写结果。在机器翻译中，传统上它们提供目标语言的流畅度评分，与翻译模型的评分配合使用。由于能够为任意候选序列赋予概率，它们也被用于搜索和排序系统。\n\n其他应用包括：\n\n- 输入预测与词语补全。\n- 对拼写纠错候选项进行排序。\n- 为光学字符识别中的备选结果评分。\n- 基于字符的语种识别。\n- 特定领域的文本评分与概率式文本生成。\n\nN元语言模型应与仅仅使用N元组特征的系统区分开来。例如，BLEU翻译评估指标利用修正后的N元组精确率，衡量候选译文与参考译文的重合程度；这并不意味着它构成了一个预测下一个词元的概率模型。"
    },
    {
      "heading": "计算特性",
      "text": "对于大小为 \\(|V|\\) 的词表，长度为 \\(n\\) 的N元组最多有 \\(|V|^n\\) 种。大多数N元组从未被观测到，因此实际实现通常只存储已观测条目构成的稀疏集合，而不是完整的表。\n\n计数和概率可以使用字典树、基于哈希的数据结构或压缩表示来存储。剪枝会移除那些被认为对预测表现贡献不大的条目，从而降低内存占用和查找成本。大型模型还可以对存储的概率和回退权重进行量化。\n\n当 \\(n\\) 固定时，为一个序列评分所需的下一个词元概率计算次数与序列长度成正比。查找成本取决于存储表示以及可能涉及的回退步骤。计算开销可预测，加上计数收集过程简单，是这类模型在实践中的重要优势。"
    },
    {
      "heading": "局限性及其与神经模型的关系",
      "text": "主要的统计局限是数据稀疏性。增大 \\(n\\) 能提供更多上下文，但也会急剧减少每种具体上下文可用的证据。平滑可以缓解这一问题，却无法将其消除。\n\n其他局限包括：\n\n- **上下文受限：**保留窗口之外的依赖关系无法直接影响预测。\n- **相关表达之间的泛化能力有限：**传统计数表不会自动在语义或形态相关的词元之间共享证据。\n- **对领域敏感：**从一种语体或主题领域学到的概率，可能难以适用于另一种语体或领域。\n- **内存需求增长：**保留大量高阶N元组可能需要可观的存储空间。\n\n这些限制使模型难以捕捉长距离的句法依赖、篇章结构，以及语义学所涉及的许多意义现象。但这并不意味着N元统计不含语法信息：许多局部语法模式都在词元频率中有明显体现。\n\n神经语言模型使用人工神经网络和学习得到的表示，在不同上下文之间共享统计信息。现代大语言模型能够以长得多的上下文为条件，并表示短上下文、固定阶数的计数模型无法直接表达的依赖关系。尽管如此，在重视低延迟、透明的局部估计、有限计算资源或可复现的统计基线的场景中，N元模型仍然很有用。"
    }
  ],
  "links": [
    "language-model",
    "text-corpus",
    "probability-distribution",
    "probability",
    "markov-model",
    "maximum-likelihood-estimation",
    "training-data",
    "collocation",
    "chinese-word-segmentation",
    "punctuation",
    "perplexity",
    "cross-entropy",
    "translation",
    "bleu",
    "syntax",
    "semantics",
    "artificial-neural-network",
    "large-language-model"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}