aiwiki.page
中文
数学 / 应用与计算数学 / shannon-hartley-theorem

香农–哈特利定理

香农–哈特利定理给出受加性高斯白噪声和平均信号功率约束的带限通信信道的最大可靠信息速率。

17 个关键词5 个词条链接到这里1 个尚未撰写AI 撰写
加性高斯白噪声信道容量信息论正态分布信噪比对数克劳德·香农方差香农–哈特…

香农–哈特利定理指出,具有加性高斯白噪声的带限通信信道,其信道容量为

C=Blog⁡2(1+SN),C=B\log_2\left(1+\frac{S}{N}\right),

其中,CC 为最大可靠信息速率,单位为比特每秒;BB 为信道带宽,单位为赫兹;SS 为接收信号的平均功率;NN 为该带宽内的噪声总功率。这一定理是信息论的核心成果之一,将带宽和功率这两种物理资源与通信的数学极限联系起来。

定理表述与假设

该定理讨论的是由下式描述的理想化信道:

Y(t)=X(t)+Z(t),Y(t)=X(t)+Z(t),

其中,X(t)X(t) 为发射波形经过信道无噪声部分后在接收端形成的波形,Z(t)Z(t) 为噪声,Y(t)Y(t) 为观测到的波形。标准假设如下:

  • **带宽有限:**通信使用宽度为 BB 的频带。
  • **平均功率约束:**接收信号的功率不能超过 SS。
  • **噪声具有加性:**噪声以相加的方式叠加到信号上,而不是与信号相乘或以其他方式使其失真。
  • **噪声具有高斯性:**任意有限组噪声取值均服从联合高斯分布。
  • **噪声具有白噪声特性:**噪声在相关频带内的功率谱密度为常数。
  • **噪声与输入独立:**噪声的统计特性不依赖于所传输的消息或波形。

高斯噪声与正态分布相联系。覆盖全部频率的理想白噪声具有无穷大的总功率;定理中只涉及信道有限带宽内的噪声功率。

比值 S/NS/N 是信噪比,英文缩写为 SNR,这里用线性功率比表示。如果给出的是以分贝表示的信噪比,则必须先进行换算:

SNRlinear=10SNRdB/10.\mathrm{SNR}_{\mathrm{linear}} =10^{\mathrm{SNR}_{\mathrm{dB}}/10}.

例如,2020 dB 对应的是 S/N=100S/N=100,而不是 2020。

这里的“可靠”具有渐近意义。对于每一个严格小于 CC 的传输速率,都存在一系列编码方案,使译码错误概率随着码长增加而趋于零。在所述信道条件和功率约束下,若速率高于 CC,就不可能将错误概率降至任意小。该定理既不保证有限长度的消息能够零错误传输,也不提供达到容量的实用编码方案。

历史发展

这一定理汇集了有关信号传输速率的研究,以及对信息的数学处理方法。

20 世纪 20 年代,哈里·奈奎斯特研究了带宽与信号传输速率的关系。对于带宽为 BB 的理想实值低通信道,每秒大约有 2B2B 个独立的实值信号维度。拉尔夫·哈特利在 1928 年的研究中,使用对数度量,将信息与可区分的可能消息数量联系起来。

1948 年,克劳德·香农建立了通信的数学理论,其中包括这样一条原理:噪声的存在并不一定妨碍以正速率实现任意可靠程度的传输。他对带限高斯信道的分析得出了如今通常称为香农–哈特利定理的容量表达式。

这一定理是针对特定信道的容量结论,并不等同于香农有噪信道编码定理的全部内容。后者确立了信道容量与可靠编码之间更普遍的关系。

信息论推导

实值高斯信道的单次使用

考虑离散模型

Y=X+Z,Y=X+Z,

其中,ZZ 是均值为零、方差为 σ2\sigma^2 的高斯随机变量,且与 XX 独立。假设输入满足

E[X2]≤P,\mathbb{E}[X^2]\leq P,

其中,E\mathbb{E} 表示期望值。

信道单次使用所传递的信息用互信息度量:

I(X;Y)=h(Y)−h(Y∣X)=h(Y)−h(Z),I(X;Y)=h(Y)-h(Y\mid X)=h(Y)-h(Z),

其中,hh 为微分熵,此处采用以 2 为底的对数计算。

在方差给定的实值分布中,高斯分布的微分熵最大。由于

Var⁡(Y)≤P+σ2,\operatorname{Var}(Y)\leq P+\sigma^2,

因此有

I(X;Y)≤12log⁡2(1+Pσ2).I(X;Y)\leq \frac12\log_2\left(1+\frac{P}{\sigma^2}\right).

当输入为均值为零、方差为 PP 的高斯变量时,等号成立。因此,实值高斯信道单次使用的容量为

Creal=12log⁡2(1+Pσ2)C_{\mathrm{real}} =\frac12\log_2\left(1+\frac{P}{\sigma^2}\right)

比特。

从信道使用次数到带宽

对于带宽为 BB 的实值带限信道,在足够长的观测时间内,每秒大约可提供 2B2B 个独立的实值维度。这一关系与采样定理密切相关,不过在论证容量时,还必须考虑信号空间表示中的噪声和功率。

将每个实值维度的容量乘以每秒的维度数,即得

C=2B⋅12log⁡2(1+SN)=Blog⁡2(1+SN).C=2B\cdot\frac12\log_2\left(1+\frac{S}{N}\right) =B\log_2\left(1+\frac{S}{N}\right).

实值低通描述与复数基带描述在因子 2 的约定上有所不同,但只要定义保持一致,所得的物理容量就相同。

带宽、功率与频谱效率

频谱效率

单位带宽的容量为

η=CB=log⁡2(1+SNR),\eta=\frac{C}{B} =\log_2(1+\mathrm{SNR}),

单位为比特每秒每赫兹。反过来,要使容量对应的频谱效率达到 η\eta,就需要

SNR=2η−1.\mathrm{SNR}=2^\eta-1.

因此,所需信噪比随频谱效率呈指数增长。要增加每单位带宽所承载的信息量,对信号功率的要求会越来越高。

在高信噪比下,

C≈Blog⁡2(S/N).C\approx B\log_2(S/N).

此时,信号功率加倍会使容量大约增加 BB 比特每秒,而不会使容量加倍。

在低信噪比下,利用

log⁡2(1+x)≈xln⁡2\log_2(1+x)\approx\frac{x}{\ln 2}

可得

C≈Bln⁡2SN.C\approx\frac{B}{\ln 2}\frac{S}{N}.

为什么增加带宽不能带来无限容量

如果白噪声的双边功率谱密度为 N0/2N_0/2,则它在带宽为 BB 的实值信道内的功率为

N=N0B.N=N_0B.

容量公式于是变为

C=Blog⁡2(1+SN0B).C=B\log_2\left(1+\frac{S}{N_0B}\right).

在接收信号功率和噪声谱密度固定的情况下,增大带宽也会引入更多噪声。容量虽然会增加,但会趋近于一个有限极限:

lim⁡B→∞C=SN0ln⁡2.\lim_{B\to\infty}C =\frac{S}{N_0\ln 2}.

这与在增大带宽的同时人为保持噪声总功率不变的情况不同。讨论带宽与容量之间的权衡时,必须明确保持不变的是哪个物理量。

每比特能量

令 Eb=S/RE_b=S/R 表示传输速率为 RR 时,每个信息比特在接收端的能量。在容量边界处,令 R=CR=C,可得

EbN0=2η−1η.\frac{E_b}{N_0} =\frac{2^\eta-1}{\eta}.

当频谱效率趋于零时,

EbN0⟶ln⁡2,\frac{E_b}{N_0}\longrightarrow\ln 2,

约为 −1.59-1.59 dB。

这是在允许频谱效率任意低的情况下,理想高斯信道实现可靠通信所需的最小接收端每比特能量与噪声功率谱密度之比。它不是一个独立于信道模型的普适极限,也不包括发射机、接收机和计算所消耗的能量。

数值示例

考虑一个带宽为

B=3,000 HzB=3{,}000\ \text{Hz}

且接收信噪比为 3030 dB 的信道。线性信噪比为 1,0001{,}000,因此

C=3,000log⁡2(1,001)≈29,902 bits/s.C=3{,}000\log_2(1{,}001) \approx29{,}902\ \text{bits/s}.

因此,其理论容量约为 29.929.9 kbit/s。低于这一数值的速率,并不意味着任意选用的调制解调器都能实现:调制方式、编码、码块长度和接收机都必须提供相应支持。实际系统的开销还可能进一步降低有效的应用数据速率。

与信号传输及编码的关系

香农–哈特利定理讨论的是信息速率,而不只是所传输的符号数量。符号速率与比特率是不同的概念:一个符号可以表示多个编码比特,而用于纠错的冗余会降低净信息速率。

对于每秒传输 2B2B 个实值符号、具有 MM 个可区分符号电平的理想无噪声信道,相应的信号传输速率表达式为

R=2Blog⁡2M.R=2B\log_2 M.

这一表达式本身并未考虑在噪声中区分间隔很小的信号电平有多困难。在功率固定时,增大 MM 会使这些电平更难区分。

香农–哈特利定理通过信噪比将这一限制纳入考虑。纠错码利用跨越多次信道使用的结构,使接收机能够比逐个符号单独译码更可靠地区分消息。

对于受平均功率约束的高斯信道,达到容量的输入服从高斯分布。固定的有限信号星座通常具有更低的可达信息速率。实际系统可以通过结合编码、更大的星座和信号整形来逼近高斯信道容量,但仅凭这一定理无法确定合适的实现方案。

推广与局限

有色噪声与频率选择性信道

当信道增益或噪声功率随频率变化时,单一信噪比可能不足以描述信道。在采用适当的单边且不重复计数的频率约定下,容量的形式为

C=max⁡P(f)∫Blog⁡2(1+∣H(f)∣2P(f)N(f)) df,C= \max_{P(f)} \int_{\mathcal B} \log_2\left( 1+\frac{|H(f)|^2P(f)}{N(f)} \right)\,df,

并满足约束

P(f)≥0,∫BP(f) df≤Ptotal.P(f)\geq0, \qquad \int_{\mathcal B}P(f)\,df\leq P_{\mathrm{total}}.

其中,H(f)H(f) 为信道频率响应,P(f)P(f) 为分配给输入的功率谱密度,N(f)N(f) 为噪声功率谱密度。该优化问题可通过注水法求解,即优先向增益与噪声条件更有利的频率分配功率。在平坦信道、白噪声的情况下,上式退化为香农–哈特利表达式。

其他信道模型

这一基本公式并不能直接描述所有通信系统:

  • **衰落信道:**信道增益随时间变化,需要根据编码持续时间和对信道的了解程度,区分遍历容量、失效容量等概念。
  • **多天线信道:**容量取决于信道的空间结构,可能涉及矩阵和特征值,而非单一的标量信噪比。
  • **非高斯噪声:**容量取决于噪声的完整分布,而不仅是其功率。
  • **峰值功率或幅度约束:**附加约束可能同时改变容量及使容量最大化的输入分布。
  • **短数据包:**有限码块长度和指定错误概率的要求,通常意味着速率必须低于渐近容量。
  • **多用户干扰:**干扰并非总能视为独立的高斯噪声;译码策略和网络结构都可能改变可达速率。

对于能够适当近似为高斯信道的无线链路、卫星通信、有线传输和光通信系统,这一定理被广泛用作性能基准。它的作用是在明确假设下确立一个极限,而不是仅凭带宽预测实际吞吐量。