最大熵原理是一种在现有信息无法唯一确定概率分布时,为其赋值的方法。它从满足给定约束的所有分布中,选取信息熵最大的分布。这些约束可以规定可能的结果、均值、相关性或其他已知性质。因此,这一原理明确区分了提供给模型的信息与模型原本可能自行引入的额外结构。
最大熵原理将信息论、统计学和统计力学联系起来。它解释了为何某些常见分布会由特定的支撑集约束与矩约束组合产生,自然导出指数族模型,并提供了根据不完整观测重建分布的方法。解读这一原理时需要谨慎:所得结果取决于所选的状态空间、约束和参考测度,而熵最大化本身并不能保证结果符合实际观测。
数学表述与含义
对于有限个可能结果 ,用 表示赋予 的概率。采用自然对数时,香农熵为
其中约定 。改变对数的底只会改变熵的单位,不会改变使熵达到最大的分布。典型的最大熵问题会指定函数 的期望值:
任务是在满足这些等式、 以及 的条件下,使 最大化。对分布支撑集的限制,例如排除物理上不可能出现的结果,也是问题所给定的信息的一部分。
当归一化是唯一约束时,答案是均匀分布,即 。这一结论源于
且等号仅在各个结果的概率相等时成立。如果某些结果被排除,均匀分布就只适用于其余允许出现的结果。因此,“在没有信息时赋予相等的概率”这一说法,预先假定了一份明确的备选结果清单;它本身并未说明应当如何构建这份清单。
在有限状态空间上,这一优化问题具有尤为良好的性质。熵是严格凹函数,而线性的期望值约束定义了一个凸集。只要该集合非空,它就是闭且有界的,因此使熵达到最大的分布必然存在。严格凹性保证了这一分布的唯一性,即使某些分量被约束为零也是如此。因此,尽管最初有许多分布满足约束,这个数学问题仍然可以有唯一的答案。
将这一答案称为“信息最少”的分布,有其特定含义。它是在选定的可行分布类中香农熵最大的分布,而不是按照所有可以设想的度量方式衡量时,信息都最少的分布。这也不意味着它所赋予的概率必定与未知的实际频率一致。它是在模型明确给定的信息条件下作出的概率赋值。
例如,知道一枚六面骰子的点数均值,通常并不能确定六个面各自出现的概率。最大熵原理会从其余可能的分布中选出一个。增加方差约束会改变可行分布类,通常也会改变答案。这一原理并不能判定哪些测量结果值得信任、骰子是否确有六种可能结果,或这些约束是否充分描述了所研究的现象;这些都是需要另行考虑的建模问题。
历史发展
最大熵原理源于十九世纪对微观状态与宏观性质之间关系的研究。路德维希·玻尔兹曼于1877年从统计角度研究熵,将宏观态的熵与该宏观态所容许的微观排列数联系起来。通常写作 的关系式表达了这样一种思想:宏观态所对应的微观排列越多,其熵就越大。这种计数论证是最大熵原理的重要先导,但它并不等同于对任意概率赋值求香农熵的最大值。
J. 威拉德·吉布斯在1902年出版的《统计力学基本原理》中系统地发展了系综方法。吉布斯并不追踪单条微观轨迹,而是用可能状态上的概率分布来描述系统。当系统与热库处于热平衡时,他提出的正则系综赋予各状态的概率随能量升高而呈指数下降。相应的熵泛函与后来提出的离散信息熵具有相同的数学形式,两者仅相差一个物理常数因子。
1948年,克劳德·香农确立了熵在通信理论中的核心地位。在通信理论中,熵衡量信源不确定输出所携带的平均信息量,并决定无损编码的基本极限。香农的数学表述使熵能够脱离任何特定的热力学解释而发挥作用。熵的性质,包括独立信源的可加性和混合下的凹性,为比较不同的不确定性分布提供了框架。
埃德温·汤普森·杰恩斯在1957年发表的两篇题为《信息论与统计力学》的论文中,明确将最大熵表述为一种通用的统计推断方法。他认为,在已知宏观期望值的约束下,通过最大化信息熵便可推导出平衡分布。在这种解释下,统计系综代表的是关于系统的已有信息,而不一定是在描述一组实际存在的系统副本。
后续的发展进一步明确了这一方法的适用范围及其假设。所罗门·库尔巴克关于信息度量的研究,为通过最小化相对熵来更新非均匀参考分布的表述提供了支持。伊姆雷·奇萨尔发展了信息投影方法及其几何理论。约翰·肖尔与罗德尼·约翰逊在1980年的公理化研究中,考察了在约束条件下进行推断所需满足的一致性要求。
二十世纪后期,最大熵还成为频谱估计、图像重建、语言处理和生态预测中的实用建模技术。这些发展并未确立一种普遍适用的概率解释。相反,同一种优化结构获得了多种解读:它可以是一条推断规则、一种对平衡状态的刻画、一种约束估计方法,也可以是一种用于在欠定模型之间作出选择的计算手段。
变分推导与指数族
其特有的指数形式可由约束优化推导得出。假设使熵最大的分布在允许的有限状态空间上处处为正。为归一化约束和矩约束引入拉格朗日乘子,得到
令关于各个 的偏导数等于零,得到
因此,
归一化因子 称为配分函数,这些分布构成一个指数族。
定义对数配分函数 。它的一阶导数就是模型下的期望值:
因此,只需选择使 成立的 ,即可满足约束。它的二阶导数给出受约束特征的协方差矩阵:
该矩阵是半正定的,由此可知 是凸函数。当这些特征不存在任何在整个支撑集上为常数的非平凡线性组合时,该矩阵为正定矩阵。
这些恒等式将原始的熵优化问题与拉格朗日对偶联系起来。在适当的可行性条件下,对偶问题为
在内部最优点处,最大熵等于 。对偶目标函数的梯度就是预测特征均值与约束所要求的特征均值之差,从而为优化步骤提供了直接的计算解释。
在边界处,上述指数形式需要加以限定。如果某个约束要求一个事件的概率为零,而该事件上的基准测度仍为正,那么任何有限的指数参数都无法使其概率为零。在有限且问题可行的状态空间上,最大熵分布仍然存在,但它可能只属于指数族的闭包。此时可以缩小支撑集,或考虑发散的参数序列。
分布的唯一性也不同于参数的唯一性。如果两个特征仅相差一个常数,那么即使所得概率分布是唯一确定的,它们对应的乘子仍存在冗余。去除冗余约束可以提高可识别性,并改善数值条件。更一般地,可实现的期望向量位于特征向量 的凸包中;它们在该凸包中的位置,决定了能否用通常的有限乘子来表示解。
常见约束所确定的分布
许多熟悉的分布都可以用最大熵性质来刻画,但每一种刻画都必须明确其支撑集和参考测度。在有限集合上,仅有归一化约束就会得到等概率分布。在固定区间 上,相对于通常的长度测度最大化微分熵,会得到常数密度 ,其熵为 。这两种结论都不能推广为整个实数轴上不受限制的均匀分布,因为这样的概率分布并不存在。
对于均值固定为 的非负实值变量,熵最大的分布是指数分布:
其熵为 。对应的离散情形是:在非负整数上,均值固定为 时,熵最大的分布为几何分布:
这两个答案的差异表明,支撑集是实质性信息,而不是事后补充的技术细节。
对于任何具有上述矩且熵有明确定义的概率密度,都有
等号成立当且仅当该密度与高斯密度几乎处处相等。在 维情形下,固定均值向量和正定协方差矩阵 ,会确定出多元正态分布,其熵为
不同的约束会产生不同的分布形状。在实数轴上,固定 的值,会确定出与 成正比的密度,即拉普拉斯分布的形式。在正实数轴上,同时约束 和 ,若约束可行且参数适当,就会得到伽马分布。之所以会得到这些结果,是因为受约束的函数会成为指数中的项。
对于一些看似合理、实则错误的刻画,需要谨慎。给定均值时,在非负整数上的所有分布中,使香农熵最大的并不是泊松分布,而是几何分布。泊松分布可以由权重与 成正比的相对熵问题得到,也可以由额外的随机性假设导出。同样,在整个实数轴上,仅有均值约束并不能确定出正态分布:以该均值为中心的分布,其方差和熵都可以任意大。
连续变量与相对熵
对于密度为 、以测度 为参考测度的连续随机变量,离散熵的直接对应形式为
当参考测度为勒贝格测度时,这就是微分熵。与离散熵不同,微分熵可以为负,其数值也依赖于坐标系。如果 是光滑可逆变换,那么在满足适当的可积性条件时,
因此,除非参考测度也随之作一致的变换,否则非线性坐标变换可能改变使单纯的微分熵达到最大的密度。
这种依赖具有实质意义。在正值长度 上均匀的分布,在其对数 上并不均匀。这两种坐标中的等长区间,对应着对各种可能性的不同划分。如果没有额外信息来说明哪一种测度代表各状态的基准权重,最大熵原理就无法在二者之间作出选择。在物理应用中,这一测度可能来自相空间的几何结构或微观状态计数;在其他应用中,它则是统计模型的一部分。
一种一般性的表述是指定参考概率分布 ,并最小化KL散度:
选出的分布为
其中, 表示约束条件。由于密度之比会随坐标变换作一致的变化,对两个分布同时施加可逆坐标变换时,相对熵保持不变。当 是有限集合上的均匀分布时,最小化这一散度与最大化香农熵完全等价。
在期望值约束下,得到的密度为
其中, 用于使分布归一化。因此,非均匀参考分布的影响仍会体现在结果中。如果 为某个事件赋予零概率,那么为该事件赋予正概率就会导致无穷大的散度;保持散度有限的更新无法引入参考分布支撑集之外的部分。
在无限空间上,最优分布不再必然存在。配分函数必须有限,所要求的矩必须能够实现,而且优化序列的概率质量不能向无穷远处流失。有些约束下,即使熵值可以不断增大,也不存在最大值。因此,有关存在性的结论需要对支撑集、矩、紧性或可积性作出假设。仅仅形式化地使用乘子法,并不能证明存在归一化的最大熵分布。
统计估计与信息投影
最大熵与最大似然估计有直接联系。设观测值 给出如下经验特征均值:
对于模型
略去与 无关的项后,对数似然为
因此,将其最大化,等价于求解特征期望等于 的最小相对熵问题的对偶问题。同一个拟合分布,既可以描述为带约束的熵优化问题的解,也可以描述为指数族内的似然拟合结果。
这种等价性并不意味着熵最大化与似然最大化在所有情形下都是同一种方法。二者优化的对象不同:前者通常在信息约束下调整分布,后者则在指定的抽样模型内调整参数。二者的等价性取决于特征函数、参考测度和经验约束是否相互匹配。
其几何解释是信息投影。对于有限状态空间和线性等式约束,假设使相对熵最小的分布 在相关支撑集上处处为正,则其他每个可行分布 都满足
这一恒等式成立,是因为 是受约束特征的仿射组合,而这些特征在 和 下的期望相同。它说明了 在何种意义上最接近参考分布。对于更一般的凸约束集,通常需要用适当的不等式取代这一精确恒等式。
最大熵也与贝叶斯推断有关,但二者并不相同。贝叶斯条件化将先验分布与似然函数相结合。相对熵更新则选择满足新约束、且相对参考分布的散度最小的分布。以参考概率为正的事件为条件进行普通条件化,是其中的一个特例:在支撑集包含于该事件的所有分布中最小化散度,得到的就是参考分布在该事件下的条件分布。
当约束由有限样本估计得到时,精确的矩匹配可能会复现抽样噪声。正则化可以对过大的乘子施加惩罚、允许矩存在偏差,或用不确定性区间取代等式约束。完整的贝叶斯处理则可以为参数指定分布,并传播参数的不确定性。未经正则化的最大熵解本身既不会自动给出置信区间,也不会自动给出后验分布。要评估这些不确定性,需要建立抽样模型,或以其他方式明确说明约束是如何获得的。
平衡态物理与轨迹上的概率分布
在平衡态热力学中,受约束的量通常是平均能量。对于能量为 的微观态 ,在归一化条件和 的约束下最大化熵,可得
参数 由能量约束确定。在热平衡下,它等于 ,其中 是绝对温度, 是玻尔兹曼常数。这一分布就是正则系综。
物理熵为 ,平均能量为
亥姆霍兹自由能满足 。在温度固定时,对所有归一化分布最小化泛函 ,等价于选取正则分布。因此,在给定平均能量下最大化熵,与在给定温度下最小化自由能,是相互关联的两种描述,但二者由外部控制的量并不相同。
如果粒子数可以涨落,同时施加平均能量和平均粒子数约束,就会得到巨正则形式
其中 是化学势, 是巨配分函数。如果能量严格固定,且所有可及微观态的参考权重相等,那么在该能量壳层上归一化便得到微正则系综。简并度在这里很重要:包含多个微观态的能级,其总概率通常大于该能量下某一个微观态的概率。
在量子力学中,状态由密度算符 表示。在期望值的线性约束下,最大化冯·诺依曼熵
会得到算符指数形式。能量约束给出 。多个受约束的可观测量不一定彼此对易;此时,指数中的表达式是这些可观测量算符的加权和,通常不能将其改写为各个指数算符的乘积。
一种相关的推广是最大口径原理,它为轨迹而非瞬时状态赋予概率。该原理在平均跃迁次数、积分流或驻留时间等约束下,最大化路径熵,或最小化路径相对熵。选择适当的参考路径测度和约束后,这种方法可以导出包括马尔可夫描述在内的随机动力学。
平衡态的熵最大化本身并不能推导出微观弛豫过程。它确定的是与给定信息相容的分布。要解释物理系统如何趋于平衡,还需要考虑动力学、守恒定律、与环境的耦合以及相关时间尺度。
算法与实际应用
对于规模适中的有限状态空间,可以使用凸优化求解以下对偶目标:
其梯度为特征均值的误差,海森矩阵则为特征的协方差矩阵。牛顿法利用这一协方差结构更新参数,而拟牛顿法和一阶方法则能避免构造大型海森矩阵或求解相应方程组所需的部分开销。特征之间近似线性相关,或约束接近可达范围的边界,都可能使计算问题变得病态。
配分函数的数值计算需要谨慎处理。若 为对数权重,则以下数值稳定的恒等式
可以避免对较大数值求指数时发生溢出。当拟合概率相差多个数量级时,归一化的数值稳定性尤为重要。优化的停止准则可以同时考察目标函数的变化和所要求各阶矩的残差。
对于列联表,迭代比例拟合通过反复按比例调整表中各项,使其符合给定的边际总计。在满足适当的相容性和支撑集条件时,该方法能找到相对于初始表的相对熵最小的表。若以所有元素均为相同正数的表为起点,就能得到最大熵解。这种方法的实用之处在于,每次调整都只需求解一个简单的子问题,但结构性零值和不相容的边际总计需要单独处理。
在条件分类中,最大熵模型通常具有以下形式:
选用适当的特征,就能得到逻辑回归和多项 softmax 模型。这里的约束涉及输入的经验分布下的特征平均值。这种条件模型描述的是给定每个输入时输出的不确定性,而不是试图对输入与输出的完整联合分布建模。
对于二元变量,固定各变量的均值及变量两两乘积的均值,会得到如下形式的分布:
这就是伊辛模型的形式。此类模型已被用于描述集体活动及依赖关系。两两约束并不会使所有高阶依赖关系消失;相反,高阶行为由拟合得到的两两相互作用模型决定。
大型系统可能具有指数级数量的构型,使精确归一化难以实现。包括马尔可夫链蒙特卡洛在内的蒙特卡洛方法,可以在拟合过程中估计特征的期望值,但也会引入抽样误差和混合问题。其他应用还包括非负图像重建和物种分布建模。在每种应用中,参考分布、观测过程和约束的不确定性都是模型的关键组成部分,而不是熵目标函数会自动补充的细节。
理据、适用范围与局限
最大熵的一种理据来自对经验频数的计数。考虑从包含 个类别的均匀分布中进行 次独立抽样,各类别的计数为 。具有这些计数的序列数量为
利用斯特林近似,其对数的主导项为 。因此,在满足给定总体约束的各种频数配置中,熵最大的配置对应的底层序列数量最多。如果独立抽样所依据的是非均匀参考分布 ,那么概率的主导指数项涉及的则是 。
这一论证清楚地呈现了自身的假设:它使用了独立抽样、参考分布和渐近近似。它并不能证明,每一个具有不确定性的物理系统或社会系统都是由此类过程生成的。不过,它确实解释了为什么熵和相对熵如此频繁地出现在集中现象和受约束的概率模型中。
另一种论证途径以一致性要求为基础。肖尔–约翰逊公理考察了唯一性、坐标不变性,以及对涉及不同系统或不同子集的信息进行一致处理等要求。按照这些公理的表述,并在相应的辅助假设下,这些要求会导出基于相对熵的更新方法。这些公理并非不依赖任何假设的逻辑推论;如何理解独立性,以及什么信息可被纳入,都是应用这些公理时的核心问题。
对表示方式的依赖仍是一项实际局限。将一个类别细分为多个子类别,会改变以均匀分布为参考的最大熵计算结果,除非同时对参考权重作出一致调整。同样,熵最大化并不自动意味着统计独立性。如果各个完整的边缘分布已经固定,且没有施加任何依赖性约束,那么它们的乘积会使联合熵达到最大。然而,固定平均相互作用通常会产生依赖性。
序贯更新也需要同样谨慎。如果新约束是对旧约束的补充,那么两者都应纳入最终的可行集。只保留最新条件的更新可能会抹去先前的信息。另一些情形中,新信息确实取代了旧信息,而不是增加了约束。究竟应采用哪种解释,优化程序本身无法决定。
最后,最大熵不能等同于最大化热力学熵产生、非正式意义上的最大化无序程度,或选择任何看起来最不可预测的模型。熵最优的拟合也不能仅凭观测约束就确立因果关系。这一原理解决的是一个界定明确的分布选择问题。实验是否有效、是否存在遗漏变量或抽样偏差,以及预测能力是否充分,仍然取决于所依托的科学模型及构建该模型所用的证据。