{
  "id": "channel-capacity",
  "title": "信道容量",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "信道容量是在给定通信信道上，译码错误概率趋于零时可实现的信息传输速率的上确界。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "香农容量",
    "信息容量"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/channel-capacity/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/channel-capacity/",
      "json": "https://aiwiki.page/en/channel-capacity.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "信道容量是通过通信信道可靠传输信息的根本极限。在信息论中，其操作性定义为：随着信道使用次数增加，译码错误概率趋于零的编码方案所能达到的速率的上确界。容量取决于信道的统计特性及其输入所受的限制。通常以每次信道使用传输的比特数为单位；对于连续时间系统，则以比特每秒为单位。克劳德·香农在其 1948 年的论文《通信的数学理论》中，建立了这一概念的数学框架。(ocw.mit.edu)"
    },
    {
      "heading": "数学定义",
      "text": "离散无记忆信道具有输入字母表 \\(\\mathcal X\\)、输出字母表 \\(\\mathcal Y\\) 和转移概率 \\(W(y\\mid x)\\)。这些转移概率给出了发送输入 \\(x\\) 时观测到输出 \\(y\\) 的条件概率。“无记忆”是指，在给定输入序列的条件下，输出的条件分布满足乘积形式：\n\n\\[W(y^n\\mid x^n)=\\prod_{i=1}^{n}W(y_i\\mid x_i).\\]\n\n对于有限字母表，信道容量为\n\n\\[C=\\max_{p_X} I(X;Y),\\]\n\n其中，\\(X\\) 和 \\(Y\\) 分别是输入和输出随机变量，\\(p_X\\) 是输入的概率分布，\\(I(X;Y)\\) 是二者的互信息。优化时，信道的转移规律保持不变，仅改变输入分布。采用以 2 为底的对数时，\n\n\\[I(X;Y)= \\sum_{x,y}p_X(x)W(y\\mid x) \\log_2\\frac{W(y\\mid x)} {\\sum_{x'}p_X(x')W(y\\mid x')}.\\]\n\n因此，容量衡量的是每次使用信道时，输出所能传达的关于输入的最大信息量。(ocw.mit.edu)\n\n等价地，\n\n\\[I(X;Y)=H(Y)-H(Y\\mid X),\\]\n\n其中，\\(H(Y)\\) 是信息熵，\\(H(Y\\mid X)\\) 是条件熵。第一项衡量输出的不确定性；第二项衡量已知输入后仍然存在的不确定性。因此，仅使输出熵最大化通常是不够的。对于连续字母表或受约束的输入，通常将最大值替换为在所有允许的分布上取上确界。(ocw.mit.edu)"
    },
    {
      "heading": "操作意义与编码定理",
      "text": "分组码将 \\(M\\) 个可能消息中的每一个映射为长度为 \\(n\\) 的输入序列。译码器根据接收到的序列估计所发送的消息。其信息速率为\n\n\\[R=\\frac{\\log_2 M}{n}.\\]\n\n有噪信道编码定理表明，对于有限离散无记忆信道，任何严格小于 \\(C\\) 的速率，都可以由错误概率趋于零的一系列编码方案来逼近。反之，以高于 \\(C\\) 的固定速率进行可靠传输是不可能的。容量是一个上确界：该定理一般不保证在恰好 \\(R=C\\) 时，错误概率也能趋于零。(ocw.mit.edu)\n\n纠错码引入具有特定结构的冗余，使不同消息即使受到噪声影响，仍然可以相互区分。可实现速率计算的是消息所含的信息量，而不是所传输的全部编码符号。可靠性是一种渐近性质，并不意味着任何一次有限长度的传输都能保证没有错误。有限码长、译码复杂度和时延还会带来容量数值本身之外的额外约束。(ocw.mit.edu)"
    },
    {
      "heading": "基本信道模型",
      "text": "对于具有 \\(q\\) 个不同输入符号、且输出能准确复现这些符号的无噪信道，\n\n\\[C=\\log_2 q.\\]\n\n输入采用均匀分布时即可达到这一容量。因此，无噪二元信道每次使用可传输一个比特。如果所有输入对应的输出分布都相同，则输入与输出相互独立，容量为零。(ocw.mit.edu)\n\n二元对称信道以概率 \\(p\\) 独立地翻转每个传输的比特。其容量为\n\n\\[C=1-h_2(p), \\qquad h_2(p)=-p\\log_2p-(1-p)\\log_2(1-p).\\]\n\n等概率输入可达到容量。当 \\(p=1/2\\) 时，输出不包含任何关于输入的信息。当 \\(p=1\\) 时，每个比特都必然被翻转，因此将输出取反即可恢复输入，容量仍为每次使用一个比特。(ocw.mit.edu)\n\n二元擦除信道以概率 \\(1-\\varepsilon\\) 正确复现输入比特，否则输出一个专门的擦除符号。其容量为\n\n\\[C=1-\\varepsilon.\\]\n\n与未被察觉的比特翻转不同，擦除会明确指出接收序列中哪个位置缺失了信息。由于这一差别，即使两种信道发生输出损坏的概率相同，其容量公式也不同。(ocw.mit.edu)"
    },
    {
      "heading": "高斯信道与物理约束",
      "text": "对于实值加性高斯白噪声信道，\n\n\\[Y=X+Z,\\]\n\n其中，噪声 \\(Z\\) 与输入独立，服从均值为零、方差为 \\(\\sigma^2\\) 的正态分布。在通过期望值表示的平均输入约束 \\(\\mathbb E[X^2]\\le P\\) 下，容量为\n\n\\[C=\\frac12\\log_2\\left(1+\\frac{P}{\\sigma^2}\\right)\\]\n\n比特每次实值信道使用。均值为零、方差为 \\(P\\) 的高斯输入可以达到这一上确界。输入约束至关重要：如果不限制输入功率，这一理想化信道的容量将没有上限。(ocw.mit.edu)\n\n对于理想的连续时间带限高斯信道，相应的表达式为\n\n\\[C=B\\log_2\\left(1+\\frac{P}{N}\\right)\\]\n\n比特每秒。其中，\\(B\\) 是以赫兹为单位的带宽，\\(P\\) 是平均接收信号功率，\\(N\\) 是该带宽内的噪声功率。二者之比为信噪比。这一公式以所指定的高斯噪声模型和功率约束为前提，并非适用于所有物理通信媒介的通用公式。(ocw.mit.edu)"
    },
    {
      "heading": "计算与推广",
      "text": "对于给定的有限信道，互信息是输入分布的凹函数，因此容量求解属于凸优化问题。有时可以利用对称性得到解析解。否则，可使用布拉胡特–阿里本算法迭代改进输入分布，并以数值方式计算容量。(ocw.mit.edu)\n\n讨论容量时，还必须明确具体的通信条件。有记忆信道未必满足上述单次使用信道的公式。无噪因果反馈不会增加离散无记忆信道的容量，但可以改善编码的其他性能。零错误容量提出了更强的要求：译码错误必须不可能发生，而不仅仅是发生的概率越来越小。对于多用户信道，应使用速率组合的可达区域来描述，而不是用单一的标量极限。(ocw.mit.edu)"
    }
  ],
  "links": [
    "information-theory",
    "bit",
    "claude-shannon",
    "conditional-probability",
    "random-variable",
    "probability-distribution",
    "mutual-information",
    "information-entropy",
    "conditional-entropy",
    "noisy-channel-coding-theorem",
    "error-correcting-code",
    "uniform-distribution",
    "additive-white-gaussian-noise-channel",
    "variance",
    "normal-distribution",
    "expected-value",
    "bandwidth",
    "signal-to-noise-ratio",
    "convex-optimization",
    "algorithm",
    "feedback"
  ],
  "sources": [
    {
      "title": "A Mathematical Theory of Communication",
      "url": "https://www.princeton.edu/~wbialek/rome/refs/shannon_48.pdf"
    },
    {
      "title": "MIT6_441S10_lec08.pdf | Information Theory | MIT OpenCourseWare",
      "url": "https://ocw.mit.edu/courses/6-441-information-theory-spring-2010/resources/mit6_441s10_lec08/"
    },
    {
      "title": "441 Information Theory, Lecture 9",
      "url": "https://ocw.mit.edu/courses/6-441-information-theory-spring-2010/4bcd0641b15dcd873f01daee1b31fc8d_MIT6_441S10_lec09.pdf"
    },
    {
      "title": "Information Theory: Lecture Notes | MIT OpenCourseWare",
      "url": "https://www.ocw.mit.edu/courses/6-441-information-theory-spring-2016/resources/lecture-notes/"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}