{
  "id": "likelihood-function",
  "title": "似然函数",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "似然函数用于衡量在给定统计模型中，观测数据对不同参数值的支持程度。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "似然"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/likelihood-function/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/likelihood-function/",
      "json": "https://aiwiki.page/en/likelihood-function.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "似然函数是统计模型参数的函数：它将观测数据固定，通过计算不同参数值下这些数据的概率质量或概率密度来定义。似然函数是统计学的基础概念，为参数估计、模型比较和不确定性评估提供依据。与描述各种可能观测结果的概率分布不同，似然函数改变的是参数，而不是数据。其核心在于比较：在给定模型中，似然值越高的参数值，赋予观测数据的概率质量或概率密度就越大。(online.stat.psu.edu)"
    },
    {
      "heading": "定义与解释",
      "text": "设 \\(X\\) 表示一个随机变量或数据向量，\\(\\theta\\in\\Theta\\) 表示模型的参数，也可以是参数向量。如果 \\(f(x;\\theta)\\) 描述抽样分布，那么在观测到 \\(X=x\\) 后，似然函数为\n\n\\[L(\\theta;x)=f(x;\\theta).\\]\n\n对于离散数据，\\(f\\) 是概率质量函数；对于连续数据，它是概率密度函数。因此，同一个数学表达式既可以描述抽样分布，也可以描述似然函数，区别在于允许哪个自变量变化。(online.stat.psu.edu)\n\n似然函数通常不是关于 \\(\\theta\\) 的概率分布：它在参数空间上的求和或积分不必等于一。对于连续观测，似然函数计算的是密度，而不是恰好观测到某一点的概率；后者通常为零。基于密度的似然值可以大于一。由于这些区别，不能直接将 \\(L(\\theta;x)\\) 解释为 \\(\\theta\\) 正确的概率。要得到参数的概率分布，还需要额外的假设，例如贝叶斯推断中所作的假设。(arxiv.org)"
    },
    {
      "heading": "构造样本似然函数",
      "text": "多个观测值的似然函数由它们的联合概率分布决定。如果产生 \\(x_1,\\ldots,x_n\\) 的各次观测具有统计独立性，并且具有相同的抽样密度函数或概率质量函数，那么\n\n\\[L(\\theta;x_1,\\ldots,x_n) =\\prod_{i=1}^{n}f(x_i;\\theta).\\]\n\n这一乘积公式依赖于独立性假设；对于相依的观测，需要使用适当的联合模型。只要观测相互独立，即使其分布不相同，似然函数也可以写成乘积形式。(online.stat.psu.edu)\n\n例如，假设 \\(n\\) 次独立试验均服从成功概率为 \\(p\\) 的伯努利分布。如果观测到的序列中有 \\(k\\) 次成功，其似然函数为\n\n\\[L(p)=p^k(1-p)^{n-k},\\qquad 0\\le p\\le1.\\]\n\n如果只记录成功次数，则由其二项分布得到似然函数\n\n\\[L_{\\mathrm{count}}(p)=\\binom nk p^k(1-p)^{n-k}.\\]\n\n二项式系数不依赖于 \\(p\\)，因此两个似然函数在相同的参数值处取得最大值。更一般地，将似然函数乘以一个与参数无关的正因子，不会改变不同参数值之间的似然比，也不会改变使似然函数取得最大值的参数值。(online.stat.psu.edu)"
    },
    {
      "heading": "对数似然与估计",
      "text": "对数似然定义为\n\n\\[\\ell(\\theta)=\\log L(\\theta).\\]\n\n由于对数函数严格递增，最大化取正值的似然函数等价于最大化其对数。乘积也因此转化为求和：\n\n\\[\\ell(\\theta)=\\sum_{i=1}^{n}\\log f(x_i;\\theta).\\]\n\n这简化了求导和数值计算。最大似然估计选取\n\n\\[\\hat\\theta\\in\\operatorname*{arg\\,max}_{\\theta\\in\\Theta}\\ell(\\theta).\\]\n\n在上述伯努利分布的例子中，当 \\(n>0\\) 时，\\(\\hat p=k/n\\)；当所有试验结果都相同时，这一结果也包含位于参数空间边界上的解。(itl.nist.gov)\n\n求最大值是一个数学优化问题。令导数为零可以找出参数空间内部的候选点，但仅凭这一点并不能确定全局最大值。约束条件、边界值以及多个驻点都可能影响结果。有些模型不存在使似然函数取得最大值的有限参数值，数值算法也可能无法收敛。这些都是模型和优化问题本身的性质，并不意味着似然的定义发生了变化。(itl.nist.gov)"
    },
    {
      "heading": "曲率与统计推断",
      "text": "对数似然的梯度称为得分。在满足适当的可微性条件和正则条件时，费希尔信息可以表示为对数似然的负二阶导数的期望；对于参数向量，则是负海森矩阵的期望。它量化了模型中的观测所提供的参数信息。(arxiv.org)\n\n在性质良好的最大值点附近，对数似然的曲率有助于近似计算估计量的方差，并构造置信区间。在满足正则条件且模型设定正确的情况下，大样本中的最大似然估计量近似服从正态分布，其协方差与费希尔信息的逆有关。这些近似并非普遍适用，尤其是在参数位于边界或模型不满足正则条件时。(arxiv.org)\n\n似然还可用于统计假设检验。对于受限参数空间 \\(\\Theta_0\\subseteq\\Theta\\)，似然比统计量比较的是\n\n\\[\\Lambda= \\frac{\\sup_{\\theta\\in\\Theta_0}L(\\theta)} {\\sup_{\\theta\\in\\Theta}L(\\theta)}.\\]\n\n较小的值表明，在该约束下模型的拟合较差。在适当的正则条件下，\\(-2\\log\\Lambda\\) 渐近服从卡方分布，其自由度对应于独立约束的个数。(itl.nist.gov)"
    },
    {
      "heading": "贝叶斯推断与机器学习",
      "text": "在贝叶斯推断中，贝叶斯定理将似然函数与先验分布 \\(\\pi(\\theta)\\) 相结合，得到后验分布：\n\n\\[\\pi(\\theta\\mid x)= \\frac{L(\\theta;x)\\pi(\\theta)} {\\int_\\Theta L(u;x)\\pi(u)\\,du},\\]\n\n前提是分母有限且为正。这个分母称为边际似然。后验分布同时包含抽样模型和先验分布的信息，而似然函数本身并不包含先验信息。(online.stat.psu.edu)\n\n在机器学习中，负对数似然经常被用作损失函数。对于类别预测，它给出常见的交叉熵目标函数。在误差相互独立、服从高斯分布且方差恒定的线性回归中，关于回归系数最大化似然函数，等价于最小化平方误差。这些等价关系取决于所假设的概率模型。(web.stanford.edu)"
    }
  ],
  "links": [
    "mathematical-function",
    "statistics",
    "probability-distribution",
    "random-variable",
    "probability-mass-function",
    "probability-density-function",
    "probability",
    "joint-probability-distribution",
    "statistical-independence",
    "bernoulli-distribution",
    "binomial-distribution",
    "maximum-likelihood-estimation",
    "mathematical-optimization",
    "gradient",
    "fisher-information",
    "variance",
    "confidence-interval",
    "normal-distribution",
    "statistical-hypothesis-testing",
    "degrees-of-freedom",
    "bayesian-inference",
    "bayes-theorem",
    "prior-distribution",
    "posterior-distribution",
    "marginal-likelihood",
    "machine-learning",
    "loss-function",
    "cross-entropy",
    "linear-regression"
  ],
  "sources": [
    {
      "title": "online.stat.psu.edu/stat504/Lesson01",
      "url": "https://online.stat.psu.edu/stat504/Lesson01"
    },
    {
      "title": "arxiv.org/abs/1705.01064",
      "url": "https://arxiv.org/abs/1705.01064"
    },
    {
      "title": "itl.nist.gov/div898/handbook/apr/section4/apr412.htm",
      "url": "https://www.itl.nist.gov/div898/handbook/apr/section4/apr412.htm"
    },
    {
      "title": "itl.nist.gov/div898/handbook/apr/section2/apr233.htm",
      "url": "https://www.itl.nist.gov/div898/handbook/apr/section2/apr233.htm"
    },
    {
      "title": "online.stat.psu.edu/stat509/Lesson07",
      "url": "https://online.stat.psu.edu/stat509/Lesson07"
    },
    {
      "title": "web.stanford.edu/~shervine/teaching/cs-229/cheatsheet-supervised-learning/",
      "url": "https://web.stanford.edu/~shervine/teaching/cs-229/cheatsheet-supervised-learning/"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}