信息论 · aiwiki.page

信息论是数学的一个分支，研究信息、不确定性的量化以及通信的极限。它利用概率对消息和传输系统建模，确定数据能够以多紧凑的形式表示，以及在噪声干扰下能够以多高的可靠性传输。其核心量包括熵、互信息和信道容量。这里的信息涉及统计上的可区分性和不确定性，而非消息的含义、真假或实用价值。(people.math.harvard.edu)

起源与框架

克劳德·香农在1948年发表于《贝尔系统技术期刊》的论文《通信的数学理论》中，奠定了信息论的核心框架。在哈里·奈奎斯特和拉尔夫·哈特利早期工作的基础上，香农将信息源的统计模型与含噪信道的数学描述结合起来。他的研究结果将消息的不确定性与传输消息所需的资源联系起来。(people.math.harvard.edu)

基本通信模型由信源、编码器、信道、解码器和信宿组成。编码器将消息转换为可传输的表示形式；信道可能引入噪声；解码器则根据接收到的信号重建消息。信源既可以产生相互独立的符号，也可以产生由随机过程描述的、具有依赖关系的序列。将统计结构与语义内容分开，使同一套数学框架能够用于描述文本、图像和物理信号。(people.math.harvard.edu)

熵与不确定性

对于概率为 $p(x)>0$ 的结果 $x$ ，其自信息为

i(x)=-\log_2 p(x).

概率越低的结果，其自信息越大。离散随机变量 $X$ 的信息熵是这一量的期望值：

H(X)=-\sum_x p(x)\log_2 p(x),

其中规定 $0\log_2 0$ 为零。使用以二为底的对数时，熵的单位为比特；使用自然对数时，单位为奈特。熵衡量的是观测结果出现之前的平均不确定性，而不是每条消息各自的长度。(ocw.mit.edu)

公平硬币每次抛掷的熵为一比特，而结果确定的硬币，其熵为零。对于 $n$ 种可能的结果，熵最多为 $\log_2 n$ ，均匀分布达到这一上限。相邻符号之间的依赖关系可以降低不确定性：对于可预测的序列，每个符号所需的比特数，比仅根据单个符号的出现频率推断出的值更少。对于满足适当条件的平稳信源，这种长期不确定性由熵率描述。(people.math.harvard.edu)

依赖关系与信息度量

条件熵 $H(X\mid Y)$ 衡量已知 $Y$ 时，关于 $X$ 仍然存在的平均不确定性。对于熵有限的离散变量，互信息为

I(X;Y)=H(X)-H(X\mid Y).

它量化了观测一个变量能够在多大程度上减少另一个变量的不确定性。互信息具有对称性且非负，当且仅当两个变量相互独立时等于零。它反映的是统计依赖关系，不一定是因果关系。(ocw.mit.edu)

更一般地，互信息是联合分布与其边缘分布乘积之间的KL散度：

I(X;Y)=D_{\mathrm{KL}}(P_{XY}\,\|\,P_XP_Y).

数据处理不等式指出，如果 $X\to Y\to Z$ 构成马尔可夫链，那么 $I(X;Z)\leq I(X;Y)$ 。在无法获得关于信源的额外信息时，对观测结果进行处理，不能增加它与该信源之间的互信息，尽管处理可能产生更便于使用的表示形式。(ocw.mit.edu)

压缩与信源编码

数据压缩从表示形式中去除冗余。无损压缩允许精确重建；有损压缩则允许规定范围内的重建误差。香农的信源编码定理赋予熵以实际操作层面的解释：对于离散无记忆信源，随着分组长度增加，每个符号的最优平均无损码长趋近于其熵。这一界限针对的是信源分布下的平均表现，并不保证每个可能的文件都能变得更短。(ocw.mit.edu)

对于有限的信源字母表，在为每个符号分配一个码字的二进制前缀码中，霍夫曼编码能够使平均码长最小。对符号分组编码，可以减少码字长度必须为整数所造成的每符号额外开销。算术编码则通过逐步细分概率区间来表示序列。通用压缩方法用于处理事先不知道信源分布的情况。(ocw.mit.edu)

含噪信道与容量

信道容量是在解码错误概率趋于零的条件下，可实现传输速率的上确界。对于转移概率为 $p(y\mid x)$ 的离散无记忆信道，

C=\max_{p(x)} I(X;Y),

使用以二为底的对数时，其单位为每次信道使用的比特数。最大化过程选取最适合该信道的输入分布。对于具有功率约束或其他输入约束的信道，需要在这一优化问题中施加相应限制。(ocw.mit.edu)

含噪信道编码定理表明，传输速率低于信道容量时，只要采用足够长的码，就可以使错误概率任意小。在该定理的假设条件下，高于信道容量的速率无法使错误概率趋于零。纠错码引入具有特定结构的冗余，使消息即使在符号受损时仍可被区分。因此，压缩和纠错的目的不同：前者去除不必要的冗余，后者则增加冗余以提高可靠性。这些渐近极限本身并未规定实际解码的复杂度或延迟。(ocw.mit.edu)

有损表示与统计应用

率失真理论刻画了在允许的平均失真范围内所需的最低编码速率。对于无记忆信源和失真函数 $d(x,\hat{x})$ ，

R(D)= \min_{p(\hat{x}\mid x):\,\mathbb{E}[d(X,\hat{X})]\leq D} I(X;\hat{X}).

所选的失真函数界定了什么样的重建结果可以接受；不同的标准会产生不同的极限。该理论为量化和有损表示提供基准，而不是为感知质量提供一种普遍适用的度量。(ocw.mit.edu)

信息度量还将通信理论与统计学和机器学习联系起来。交叉熵满足 $H(P,Q)=H(P)+D_{\mathrm{KL}}(P\|Q)$ ，将负对数似然的期望值与分布之间的不匹配联系起来。因此，用最大似然估计拟合概率模型，就是最小化相对于经验分布的交叉熵。这些量描述的是相对于指定分布的表现；如何根据有限的观测数据估计这些量，则是另一个统计问题。(onlinelibrary.wiley.com)