{
  "id": "self-information",
  "title": "自信息",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "自信息是事件概率的负对数，用于衡量在给定概率模型下该事件发生的意外程度。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "自信息量",
    "惊异度"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/self-information/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/self-information/",
      "json": "https://aiwiki.page/en/self-information.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "自信息是信息论中的一个量，用于衡量得知某个特定事件已经发生所获得的信息。它定义为该事件概率的负对数：事件的概率越小，自信息就越大；必然发生的事件则没有自信息。自信息也称为惊异度，描述的是单个结果，而信息熵描述的是这些结果在某个概率分布下的平均自信息。(ocw.mit.edu)"
    },
    {
      "heading": "定义与单位",
      "text": "对于概率为 \\(P(A)>0\\) 的事件 \\(A\\)，其自信息为\n\n\\[I_b(A)=-\\log_b P(A) =\\log_b\\frac{1}{P(A)}, \\qquad b>1.\\]\n\n对于概率质量函数为 \\(p_X(x)\\) 的离散随机变量 \\(X\\)，同一定义给出\n\n\\[I_X(x)=-\\log_b p_X(x).\\]\n\n对数的底决定了计量单位：\n\n- 以 \\(2\\) 为底：比特。\n- 以 \\(e\\) 为底：奈特。\n- 以 \\(10\\) 为底：哈特莱。\n\n改变对数的底只会改变数值尺度，不会改变各结果按自信息大小排列的顺序。具体而言，一比特等于 \\(\\ln 2\\) 奈特。(web.mit.edu)\n\n由于概率不大于一，自信息非负。概率为一的事件满足 \\(I(A)=0\\)；当 \\(P(A)\\) 趋近于零时，\\(I(A)\\) 无限增大。因此，将零概率事件的自信息扩展定义为 \\(I(A)=+\\infty\\)，应理解为一种基于极限的约定。(mtlsites.mit.edu)\n\n自信息的大小取决于所采用的概率模型。不同模型可以为同一观测结果赋予不同的自信息；它并不衡量该观测结果在语义上的重要性或实际价值。(stat.cmu.edu)"
    },
    {
      "heading": "为何采用对数定义",
      "text": "采用对数的一个核心理由是可加性。如果事件 \\(A\\) 和 \\(B\\) 具有统计独立性，那么\n\n\\[P(A\\cap B)=P(A)P(B),\\]\n\n因此\n\n\\[I(A\\cap B)=I(A)+I(B).\\]\n\n也就是说，得知两个独立结果所获得的信息量，等于各自自信息之和。对数将概率的乘法转换为信息量的加法。(sites.stat.columbia.edu)\n\n更严格地说，假设信息度量 \\(f(p)\\) 仅取决于概率，是连续函数，随概率增大而减小，并满足\n\n\\[f(pq)=f(p)+f(q).\\]\n\n这些要求导出 \\(f(p)=-k\\ln p\\)，其中 \\(k>0\\)。选定计量单位后，常数 \\(k\\) 也随之确定。(web.mit.edu)"
    },
    {
      "heading": "示例",
      "text": "将概率直接代入以 2 为底的定义，可得：\n\n事件概率 | 自信息\n\\(1\\) | \\(0\\) 比特\n\\(1/2\\) | \\(1\\) 比特\n\\(1/4\\) | \\(2\\) 比特\n\\(1/8\\) | \\(3\\) 比特\n\\(1/100\\) | 约 \\(6.644\\) 比特\n\n对于一枚公平硬币，两种结果的自信息都是一比特。对于一枚满足 \\(P(\\text{正面})=0.9\\) 的有偏硬币，正面的自信息约为 \\(0.152\\) 比特，而反面的自信息约为 \\(3.322\\) 比特。这些数值都来自同一个基于概率的定义：在该模型下，越不可能出现的结果越令人意外。(ocw.mit.edu)"
    },
    {
      "heading": "与熵及条件信息的关系",
      "text": "自信息的期望值就是香农熵：\n\n\\[H_b(X) =\\mathbb E[I_X(X)] =-\\sum_x p_X(x)\\log_b p_X(x).\\]\n\n因此，自信息是针对单个结果的量，而熵是针对整个分布的平均值。熵的求和式中，零概率项的值规定为零，其依据是当 \\(p\\to0^+\\) 时，\\(p\\log p\\to0\\)。(stanford.edu)\n\n给定已观测到的值 \\(Y=y\\)，条件自信息用条件概率定义：\n\n\\[I(x\\mid y)=-\\log_b P(X=x\\mid Y=y).\\]\n\n它在联合分布下的平均值就是条件熵。概率乘法公式还给出了逐点成立的链式法则：\n\n\\[I(x,y)=I(y)+I(x\\mid y).\\]\n\n在独立的情况下，这一关系简化为通常的可加性。(stanford.edu)"
    },
    {
      "heading": "编码与统计建模",
      "text": "在无损数据压缩中，自信息表示理想化的码字长度。实际二进制码字的长度为整数，因此通常无法为某个结果分配长度恰好为 \\(-\\log_2 p(x)\\) 比特的码字。不过，前缀码可以采用以下长度：\n\n\\[\\ell(x)=\\left\\lceil-\\log_2 p(x)\\right\\rceil.\\]\n\n对于有限字母表，唯一可译的二进制符号编码的最小期望长度 \\(L^*\\) 满足\n\n\\[H_2(X)\\le L^*<H_2(X)+1.\\]\n\n将独立符号组成块后进行编码，可以使每个符号的额外开销任意接近零，由此将自信息与信源编码定理联系起来。(stanford.edu)\n\n如果观测结果服从分布 \\(p\\)，但使用模型 \\(q\\) 来计算其自信息，那么所得的平均值就是交叉熵：\n\n\\[H(p,q)=\\mathbb E_{X\\sim p}[-\\log_b q(X)].\\]\n\n当相关量均为有限值时，\n\n\\[H(p,q)=H(p)+D_{\\mathrm{KL}}(p\\|q),\\]\n\n其中 \\(D_{\\mathrm{KL}}\\) 是KL散度。因此，使用错误的模型评估观测结果，会产生平均意义上的额外惊异度。最小化模型惊异度的总和，等价于最大似然估计。(stat.cmu.edu)"
    },
    {
      "heading": "连续变量",
      "text": "对于具有概率密度函数 \\(f(x)\\) 的变量，取某个精确值的概率通常为零。因此，\\(-\\log f(x)\\) 并不是点事件 \\(X=x\\) 的自信息：概率密度并不等于概率。\n\n这一基于密度的量的期望值是微分熵：\n\n\\[h(X)=-\\int f(x)\\log f(x)\\,dx.\\]\n\n与离散情形下的自信息不同，\\(-\\log f(x)\\) 可以为负，并且依赖于坐标尺度。对于有限分辨率的观测，其自信息则由相应测量区间或区域的概率决定，从而保留了最初基于事件的定义。(stat.cmu.edu)"
    }
  ],
  "links": [
    "information-theory",
    "probability",
    "information-entropy",
    "probability-distribution",
    "probability-mass-function",
    "random-variable",
    "bit",
    "statistical-independence",
    "expected-value",
    "conditional-probability",
    "conditional-entropy",
    "lossless-data-compression",
    "prefix-code",
    "source-coding-theorem",
    "cross-entropy",
    "kullback-leibler-divergence",
    "maximum-likelihood-estimation",
    "probability-density-function",
    "differential-entropy"
  ],
  "sources": [
    {
      "title": "Lecture 4: Language as Communication",
      "url": "https://ocw.mit.edu/courses/9-59j-lab-in-psycholinguistics-spring-2017/c50ae829cf6d02ad14c4a50b05dd467d_MIT9_59jS17_lec4.pdf"
    },
    {
      "title": "MIT 6.02 DRAFT Lecture Notes: Information, Entropy, and the Motivation for Source Codes",
      "url": "https://web.mit.edu/6.02/www/f2011/handouts/2.pdf"
    },
    {
      "title": "Chapter 5: Probability",
      "url": "https://mtlsites.mit.edu/Courses/6.050/2014/notes/chapter5.pdf"
    },
    {
      "title": "Information Theory, Inference, and Learning Algorithms",
      "url": "https://sites.stat.columbia.edu/gelman/bayescomputation/mackay.pdf"
    },
    {
      "title": "1 Annotated Slides: Computation Structures",
      "url": "https://ocw.mit.edu/courses/6-004-computation-structures-spring-2017/pages/c1/c1s1/"
    },
    {
      "title": "Lecture Notes on Statistics and Information Theory",
      "url": "https://stanford.edu/class/stats311/lecture-notes.pdf"
    },
    {
      "title": "Statistics and Information Theory",
      "url": "https://stanford.edu/class/ee377/lecture-notes.pdf"
    },
    {
      "title": "Information Theory I — Scene Setting and Statistical Applications (Lecture 9)",
      "url": "https://www.stat.cmu.edu/~cshalizi/dm/20/lectures/09/lecture-09.html"
    },
    {
      "title": "Information Theory",
      "url": "https://www.stat.cmu.edu/~cshalizi/2010-06-15-1-CSSS.pdf"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}