算术—几何平均值不等式 指出,有限个非负实数的算术平均数 不小于它们的几何平均数 。对于 n n n 个数 x 1 , … , x n x_1,\ldots,x_n x 1 , … , x n ,其形式为
x 1 + ⋯ + x n n ≥ ( x 1 ⋯ x n ) 1 / n , \frac{x_1+\cdots+x_n}{n}\geq (x_1\cdots x_n)^{1/n}, n x 1 + ⋯ + x n ≥ ( x 1 ⋯ x n ) 1/ n ,
等号成立当且仅当所有数都相等。它揭示了加法与乘法之间的一种基本关系:当若干个数的和固定时,各数相等时乘积最大。
尽管表述初等,这一不等式却是数学分析 、几何学 、概率 和数学优化 中的重要工具。它的加权形式与凹性、对数和熵有着直接联系。其证明方法既有对平方表达式的简单变形,也有基于凸函数的一般论证;其推广则包括其他平均数之间的比较、积分不等式以及正定矩阵的不等式。
表述、适用范围与等号成立条件 对于正整数 n n n 和非负实数 x 1 , … , x n x_1,\ldots,x_n x 1 , … , x n ,定义
A = 1 n ∑ i = 1 n x i , G = ( ∏ i = 1 n x i ) 1 / n . A=\frac1n\sum_{i=1}^{n}x_i, \qquad G=\left(\prod_{i=1}^{n}x_i\right)^{1/n}. A = n 1 i = 1 ∑ n x i , G = ( i = 1 ∏ n x i ) 1/ n .
算术—几何平均值不等式即 A ≥ G A\geq G A ≥ G 。其等价的乘积形式为
∏ i = 1 n x i ≤ ( ∑ i = 1 n x i n ) n . \prod_{i=1}^{n}x_i \leq \left(\frac{\sum_{i=1}^{n}x_i}{n}\right)^n. i = 1 ∏ n x i ≤ ( n ∑ i = 1 n x i ) n .
当 n = 1 n=1 n = 1 时,等号恒成立。当 n ≥ 2 n\geq2 n ≥ 2 时,等号成立当且仅当 x 1 = ⋯ = x n x_1=\cdots=x_n x 1 = ⋯ = x n 。非负条件不可或缺:若允许任意负数参与,即使乘积恰好存在实数根,同样的结论也不一定成立。
边界情形需要稍加留意,但无须借助其他定理。如果至少有一个数为零,则 G = 0 G=0 G = 0 ,由 A ≥ 0 A\geq0 A ≥ 0 即可得到该不等式。此时,等号成立要求所有数都为零。如果所有数均为正,就可以自由使用除法和对数 。例如,1 , 4 , 9 1,4,9 1 , 4 , 9 的算术平均值为 14 / 3 14/3 14/3 ,几何平均值为 36 1 / 3 36^{1/3} 3 6 1/3 ,约为 3.302 3.302 3.302 。这里的严格不等关系源于这些数不全相等,而与它们的排列顺序无关。
这两种平均值都是一次齐次的:将每个数都乘以 c ≥ 0 c\geq0 c ≥ 0 ,A A A 和 G G G 也都会乘以 c c c 。因此,当 A > 0 A>0 A > 0 时,令 y i = x i / A y_i=x_i/A y i = x i / A ,便可将定理化为
1 n ∑ i = 1 n y i = 1 ⟹ ∏ i = 1 n y i ≤ 1. \frac1n\sum_{i=1}^{n}y_i=1 \quad\Longrightarrow\quad \prod_{i=1}^{n}y_i\leq1. n 1 i = 1 ∑ n y i = 1 ⟹ i = 1 ∏ n y i ≤ 1.
另一种方法是,对于全为正数的情形,用 G G G 作归一化因子,就能得到等价的断言:乘积为 1 1 1 的这些数,其和至少为 n n n 。这些归一化方法将整体尺度与各数之间的差异分离开来,因而十分有用。
该不等式在对这些数进行任意置换 后保持不变。它讨论的是一组给定的数,并不涉及对这些数如何取得的统计假设。它比较的是两种平均值,而不是在定义算术—几何平均迭代;后者是另一种构造,反复将一对数替换为它们的算术平均值和几何平均值。虽然这种迭代使用了相同的两种运算,但其收敛性与应用属于另外的主题。
几何起源与历史发展 对于两个非负数 a a a 和 b b b ,算术—几何平均值不等式表明
a b ≤ ( a + b 2 ) 2 . ab\leq \left(\frac{a+b}{2}\right)^2. ab ≤ ( 2 a + b ) 2 .
从几何上看,边长为 a , b a,b a , b 的矩形,其面积不大于以这两个数的平均值为边长的正方形的面积。由于这两个图形的周长都是 2 ( a + b ) 2(a+b) 2 ( a + b ) ,因此,在周长给定的所有矩形中,正方形的面积最大。两者的面积之差恰为
( a + b 2 ) 2 − a b = ( a − b 2 ) 2 . \left(\frac{a+b}{2}\right)^2-ab =\left(\frac{a-b}{2}\right)^2. ( 2 a + b ) 2 − ab = ( 2 a − b ) 2 .
因此,这一几何表述本身就同时包含了不等式及其取等条件。
几何原本 第二卷命题5中出现了一个与此密切相关的恒等式。用现代语言来说,若将一条长为 a + b a+b a + b 的线段分别等分和不等分,则以不等分所得两段为边的矩形,加上以不等分点到中点的距离为边长的正方形,其面积之和等于以原线段一半为边长的正方形的面积。将这一几何构造转写为代数形式,就得到上面列出的恒等式。因此,它是二元不等式在古代几何中的先声,而不是完整的现代加权定理的表述。
另一种构造使用直径为 a + b a+b a + b 的半圆。从将直径分成长为 a a a 和 b b b 两段的分点作垂线,与半圆相交。根据直角三角形 的高定理,这条垂线段的长度为 a b \sqrt{ab} ab 。这一长度不可能超过半径 ( a + b ) / 2 (a+b)/2 ( a + b ) /2 。当且仅当分点位于圆心,即 a = b a=b a = b 时,等号成立。这一构造将几何平均值直观地呈现为一条线段的长度,而不只是两个数乘积的平方根。
从两个数推广到任意多个数,还需要独立的逻辑步骤。奥古斯丁-路易·柯西 于1821年出版的《分析教程》中给出了一个影响尤为深远的证明。该证明先对项数为二的幂的情形建立不等式,再向下推导至所有更少项数的情形。这种方法通常称为前向—后向归纳法或柯西归纳法。进入二十世纪后,G. H. 哈代、J. E. 李特尔伍德和乔治·波利亚合著、于1934年首次出版的《不等式》等著作,将算术—几何平均值不等式纳入了关于平均值、凸性及相关不等式的系统理论。因此,现代论著既将其视为一个初等几何事实,也将其视为更广泛的分析原理的一个特例。
初等证明与均等化的作用 对于两个数,标准的数学证明 从一个非负的平方开始:
( a − b ) 2 ≥ 0. (\sqrt a-\sqrt b)^2\geq0. ( a − b ) 2 ≥ 0.
展开可得 a + b ≥ 2 a b a+b\geq2\sqrt{ab} a + b ≥ 2 ab ,等号成立当且仅当 a = b a=b a = b 。另一种证法从 ( a − b ) 2 ≥ 0 (a-b)^2\geq0 ( a − b ) 2 ≥ 0 出发,得到 ( a + b ) 2 ≥ 4 a b (a+b)^2\geq4ab ( a + b ) 2 ≥ 4 ab ,再取非负平方根。这两种论证都说明了符号条件为何重要:涉及平方根的形式要求 a , b ≥ 0 a,b\geq0 a , b ≥ 0 。
柯西的证明通过正反两个方向的数学归纳法 推广了这一结果。假设算术—几何平均不等式对 m m m 个数成立。将 2 m 2m 2 m 个数分成两组,每组各有 m m m 个数,算术平均数分别为 A 1 , A 2 A_1,A_2 A 1 , A 2 ,几何平均数分别为 G 1 , G 2 G_1,G_2 G 1 , G 2 。于是
A 1 + A 2 2 ≥ A 1 A 2 ≥ G 1 G 2 . \frac{A_1+A_2}{2} \geq\sqrt{A_1A_2} \geq\sqrt{G_1G_2}. 2 A 1 + A 2 ≥ A 1 A 2 ≥ G 1 G 2 .
最后一个式子就是全部 2 m 2m 2 m 个数的几何平均数。因此,从两个数的情形出发,就能证明不等式对 2 , 4 , 8 , … 2,4,8,\ldots 2 , 4 , 8 , … 个数成立。
反向递推时,假设已经知道不等式对 n n n 个数成立,再考虑 n − 1 n-1 n − 1 个正数,设其算术平均数为 A A A ,乘积为 P P P 。将 A A A 添加为最后一个数。这组数的算术平均数仍为 A A A ,因此
A ≥ ( P A ) 1 / n . A\geq (PA)^{1/n}. A ≥ ( P A ) 1/ n .
两边取 n n n 次幂,再除以 A > 0 A>0 A > 0 ,得到 A n − 1 ≥ P A^{n-1}\geq P A n − 1 ≥ P ,这正是所要证明的 n − 1 n-1 n − 1 个数的情形。每个正整数都小于某个二的幂,因此正向和反向递推涵盖了任意有限个数的情形。其中有零的情况可以单独处理。逐步考察等号成立的条件可知,所有原来的数都必须相等。
另一种证明直接体现了均等化的作用。固定一个正数 S S S 作为总和,考察乘积在下列集合上的取值:
x i ≥ 0 , ∑ i x i = S . x_i\geq0,\qquad \sum_i x_i=S. x i ≥ 0 , i ∑ x i = S .
这是有限维欧几里得空间 中的一个有界闭集,因此由极值定理 ,连续的乘积函数在其上取得最大值。各分量相等时,乘积为 ( S / n ) n > 0 (S/n)^n>0 ( S / n ) n > 0 ,所以最大值为正;因而,取得最大值的数组中没有零分量。如果其中有两个分量 a , b a,b a , b 不相等,将它们都替换为二者的算术平均数,就能保持总和不变,却使它们的乘积增大,因为
( a + b 2 ) 2 − a b = ( a − b ) 2 4 > 0. \left(\frac{a+b}{2}\right)^2-ab=\frac{(a-b)^2}{4}>0. ( 2 a + b ) 2 − ab = 4 ( a − b ) 2 > 0.
其余因子均为正,因此总乘积也会随之增大。由此可知,任何取得最大值的数组,其各分量都相等,从而证明了该不等式及其等号成立的充要条件。这一论证体现了一条一般性的优化原理:在总和固定的约束下,使正因子趋于均衡会增大它们的乘积。
加权算术—几何平均不等式、对数与凸性 设 w 1 , … , w n ≥ 0 w_1,\ldots,w_n\geq0 w 1 , … , w n ≥ 0 满足 ∑ i w i = 1 \sum_iw_i=1 ∑ i w i = 1 。对于正数 x i x_i x i ,加权不等式为
A w = ∑ i = 1 n w i x i ≥ ∏ i = 1 n x i w i = G w . A_w=\sum_{i=1}^{n}w_ix_i \geq \prod_{i=1}^{n}x_i^{w_i}=G_w. A w = i = 1 ∑ n w i x i ≥ i = 1 ∏ n x i w i = G w .
权重为零的项可以直接略去。当且仅当所有正权重对应的数相等时,等号成立。由连续性可将输入值扩展到非负数;若某个零值对应的权重为正,则几何平均数为零。当所有权重均为 1 / n 1/n 1/ n 时,这就是通常的算术—几何平均不等式。
对于有理数权重,加权形式可以通过重复列出各数来推导。令 w i = m i / N w_i=m_i/N w i = m i / N ,其中非负整数 m i m_i m i 之和为 N N N 。构造一个数列,其中 x i x_i x i 出现 m i m_i m i 次,再对其应用通常的算术—几何平均不等式。这个数列的算术平均数为 ∑ i w i x i \sum_iw_ix_i ∑ i w i x i ,几何平均数为 ∏ i x i w i \prod_i x_i^{w_i} ∏ i x i w i 。对于一般的实数权重,用有理数权重逼近,再利用连续性即可得到结论。这一推导将权重解释为各数出现次数所占的比例,而极限论证则将这一解释推广到实际计数之外。
最简洁的分析证明使用詹森不等式 。自然对数 在 ( 0 , ∞ ) (0,\infty) ( 0 , ∞ ) 上严格凹,因为
d 2 d x 2 log x = − 1 x 2 < 0. \frac{d^2}{dx^2}\log x=-\frac1{x^2}<0. d x 2 d 2 log x = − x 2 1 < 0.
因此,
log ( ∑ i w i x i ) ≥ ∑ i w i log x i = log ( ∏ i x i w i ) . \log\left(\sum_iw_ix_i\right) \geq \sum_iw_i\log x_i = \log\left(\prod_ix_i^{w_i}\right). log ( i ∑ w i x i ) ≥ i ∑ w i log x i = log ( i ∏ x i w i ) .
对两边应用单调递增的指数函数 ,便得到加权算术—几何平均不等式。严格凹性给出了等号成立的条件。从这一形式来看,该定理说明:先取平均再取对数,所得结果不小于先取对数再取平均。
一个相关的证明使用切线不等式
log t ≤ t − 1 ( t > 0 ) , \log t\leq t-1\qquad(t>0), log t ≤ t − 1 ( t > 0 ) ,
其中仅在 t = 1 t=1 t = 1 时等号成立。代入 t = x i / A w t=x_i/A_w t = x i / A w ,乘以 w i w_i w i 后求和,得到
∑ i w i log ( x i / A w ) ≤ ∑ i w i ( x i / A w − 1 ) = 0. \sum_iw_i\log(x_i/A_w)\leq \sum_iw_i(x_i/A_w-1)=0. i ∑ w i log ( x i / A w ) ≤ i ∑ w i ( x i / A w − 1 ) = 0.
这恰好就是 log G w ≤ log A w \log G_w\leq\log A_w log G w ≤ log A w 。反过来,对任意权重都成立的二元加权算术—几何平均不等式,所表达的正是定义对数函数凹性的不等式。因此,两者是等价的,而不只是一个为另一个提供了方便的证明方法。这也解释了为什么对数变换在乘积优化问题中如此有效:乘积变成了和,而它们与算术平均数之间的关系则由凹性所支配。
平均数的层级关系及相关不等式 算术—几何平均数不等式处于一个更广泛的平均数层级的中间。对于正数输入及总和为一的权重,定义调和平均数 和平方平均数为
H w = ( ∑ i w i x i ) − 1 , Q w = ( ∑ i w i x i 2 ) 1 / 2 . H_w=\left(\sum_i\frac{w_i}{x_i}\right)^{-1}, \qquad Q_w=\left(\sum_iw_ix_i^2\right)^{1/2}. H w = ( i ∑ x i w i ) − 1 , Q w = ( i ∑ w i x i 2 ) 1/2 .
则有
H w ≤ G w ≤ A w ≤ Q w . H_w\leq G_w\leq A_w\leq Q_w. H w ≤ G w ≤ A w ≤ Q w .
第一个不等式可通过对 1 / x i 1/x_i 1/ x i 应用加权算术—几何平均数不等式,再取倒数得到。最后一个不等式则由下式推出:
∑ i w i ( x i − A w ) 2 = ∑ i w i x i 2 − A w 2 ≥ 0. \sum_iw_i(x_i-A_w)^2 =\sum_iw_ix_i^2-A_w^2\geq0. i ∑ w i ( x i − A w ) 2 = i ∑ w i x i 2 − A w 2 ≥ 0.
因此,算术平均数与平方平均数之间的大小关系,也体现了加权方差 的非负性。去除权重为零的项后,上述每个不等式取等号的条件都是所有输入值相等。
这些大小关系都是幂平均不等式 的特例。对于 r ≠ 0 r\neq0 r = 0 ,令
M r = ( ∑ i w i x i r ) 1 / r , M_r=\left(\sum_iw_ix_i^r\right)^{1/r}, M r = ( i ∑ w i x i r ) 1/ r ,
并定义 M 0 = G w M_0=G_w M 0 = G w 。当输入值均为正数时,M r M_r M r 随 r r r 单调不减。阶数 − 1 , 0 , 1 , 2 -1,0,1,2 − 1 , 0 , 1 , 2 分别对应调和平均数、几何平均数、算术平均数和平方平均数。几何平均数可由阶数趋于零时的连续极限得到:将 x i r = exp ( r log x i ) x_i^r=\exp(r\log x_i) x i r = exp ( r log x i ) 代入,可得
lim r → 0 log M r = ∑ i w i log x i . \lim_{r\to0}\log M_r=\sum_iw_i\log x_i. r → 0 lim log M r = i ∑ w i log x i .
这一极限构造解释了为什么几何平均数介于由负幂和正幂定义的平均数之间。
加权算术—几何平均数不等式还可推出关于乘积的杨氏不等式 。若 p , q > 1 p,q>1 p , q > 1 满足 1 / p + 1 / q = 1 1/p+1/q=1 1/ p + 1/ q = 1 ,则以 1 / p , 1 / q 1/p,1/q 1/ p , 1/ q 为权重,对 a p , b q a^p,b^q a p , b q 应用该不等式,得到:
a b ≤ a p p + b q q . ab\leq\frac{a^p}{p}+\frac{b^q}{q}. ab ≤ p a p + q b q .
对于 a , b ≥ 0 a,b\geq0 a , b ≥ 0 ,等号成立当且仅当 a p = b q a^p=b^q a p = b q 。这一形式将乘积拆分为带有共轭指数的相加项,因此在涉及积分和微分方程的估计中十分有用。
杨氏不等式可直接推出赫尔德不等式 。对于两个非零有限数列 a i , b i a_i,b_i a i , b i ,作归一化:
u i = ∣ a i ∣ ( ∑ j ∣ a j ∣ p ) 1 / p , v i = ∣ b i ∣ ( ∑ j ∣ b j ∣ q ) 1 / q . u_i=\frac{|a_i|}{(\sum_j|a_j|^p)^{1/p}}, \qquad v_i=\frac{|b_i|}{(\sum_j|b_j|^q)^{1/q}}. u i = ( ∑ j ∣ a j ∣ p ) 1/ p ∣ a i ∣ , v i = ( ∑ j ∣ b j ∣ q ) 1/ q ∣ b i ∣ .
逐项应用杨氏不等式并求和,得到 ∑ i u i v i ≤ 1 \sum_i u_iv_i\leq1 ∑ i u i v i ≤ 1 ,从而有
∑ i ∣ a i b i ∣ ≤ ( ∑ i ∣ a i ∣ p ) 1 / p ( ∑ i ∣ b i ∣ q ) 1 / q . \sum_i|a_ib_i| \leq \left(\sum_i|a_i|^p\right)^{1/p} \left(\sum_i|b_i|^q\right)^{1/q}. i ∑ ∣ a i b i ∣ ≤ ( i ∑ ∣ a i ∣ p ) 1/ p ( i ∑ ∣ b i ∣ q ) 1/ q .
当 p = q = 2 p=q=2 p = q = 2 时,这就是熟知的有限维柯西—施瓦茨不等式 。因此,算术—几何平均数不等式不仅与其他平均数有关,也与赋范空间中控制乘积大小的基本界限相联系。
优化与几何规划 最直接的优化结论是定和条件下的乘积上界:
x 1 + ⋯ + x n = S ⟹ x 1 ⋯ x n ≤ ( S / n ) n . x_1+\cdots+x_n=S \quad\Longrightarrow\quad x_1\cdots x_n\leq(S/n)^n. x 1 + ⋯ + x n = S ⟹ x 1 ⋯ x n ≤ ( S / n ) n .
当 S > 0 S>0 S > 0 时,唯一使乘积达到最大值的数组为 x i = S / n x_i=S/n x i = S / n 。反过来,若固定正的乘积 P P P ,则有
x 1 + ⋯ + x n ≥ n P 1 / n , x_1+\cdots+x_n\geq nP^{1/n}, x 1 + ⋯ + x n ≥ n P 1/ n ,
同样,等号仅在各数相等时成立。这些都是全局结论,无须考察局部临界点。
对于边长为 a , b , c a,b,c a , b , c 、棱长总和 4 ( a + b + c ) 4(a+b+c) 4 ( a + b + c ) 固定的长方体,算术—几何平均值不等式表明,其体积 a b c abc ab c 在长方体为正方体时达到最大。若固定体积 V = a b c V=abc V = ab c ,对 a b , b c , c a ab,bc,ca ab , b c , c a 应用算术—几何平均值不等式,可得
a b + b c + c a ≥ 3 ( a b c ) 2 / 3 = 3 V 2 / 3 . ab+bc+ca\geq3(abc)^{2/3}=3V^{2/3}. ab + b c + c a ≥ 3 ( ab c ) 2/3 = 3 V 2/3 .
因此,表面积至少为 6 V 2 / 3 6V^{2/3} 6 V 2/3 ,且等号在长方体为正方体时成立。几何约束决定了应对哪些量应用不等式:固定棱长总和时使用边长,固定体积时则使用各面的面积。
加权算术—几何平均值不等式可以处理资源需求不均等的情形。若 c i , x i , α i > 0 c_i,x_i,\alpha_i>0 c i , x i , α i > 0 ,且
∑ i c i x i = B , \sum_i c_ix_i=B, i ∑ c i x i = B ,
考虑使 ∏ i x i α i \prod_i x_i^{\alpha_i} ∏ i x i α i 最大化。记 α = ∑ i α i \alpha=\sum_i\alpha_i α = ∑ i α i ,w i = α i / α w_i=\alpha_i/\alpha w i = α i / α 。于是
B = ∑ i w i c i x i w i ≥ ∏ i ( c i x i w i ) w i . B=\sum_iw_i\frac{c_ix_i}{w_i} \geq \prod_i\left(\frac{c_ix_i}{w_i}\right)^{w_i}. B = i ∑ w i w i c i x i ≥ i ∏ ( w i c i x i ) w i .
由等号成立条件可得
x i = B w i c i = B α i c i ∑ j α j . x_i=\frac{Bw_i}{c_i} =\frac{B\alpha_i}{c_i\sum_j\alpha_j}. x i = c i B w i = c i ∑ j α j B α i .
这就给出了精确的全局最优解,也确定了恰当的分配比例。对目标函数取对数并使用拉格朗日乘子 ,也能得到相同的方程,但算术—几何平均值不等式还能直接证明这一界限。
一个更广泛的计算框架是几何规划 。在这一框架中,单项式具有如下形式:
c x 1 a 1 ⋯ x n a n , c > 0 , x i > 0 , c\,x_1^{a_1}\cdots x_n^{a_n}, \qquad c>0,\quad x_i>0, c x 1 a 1 ⋯ x n a n , c > 0 , x i > 0 ,
其中指数可以是任意实数,而正项式则是有限个此类表达式之和。经过变换 y i = log x i y_i=\log x_i y i = log x i ,单项式变为仿射函数的指数。对正项式取对数,得到的是具有凸性的对数和指数函数(log-sum-exp)。标准几何规划由此转化为凸优化 问题。
算术—几何平均值不等式可以为这些和式提供有用的单项式下界。对于正项 u k u_k u k 以及总和为一的正权重 α k \alpha_k α k ,有
∑ k u k = ∑ k α k u k α k ≥ ∏ k ( u k α k ) α k . \sum_k u_k =\sum_k\alpha_k\frac{u_k}{\alpha_k} \geq \prod_k\left(\frac{u_k}{\alpha_k}\right)^{\alpha_k}. k ∑ u k = k ∑ α k α k u k ≥ k ∏ ( α k u k ) α k .
在选定的正值点处,取 α k = u k / ∑ j u j \alpha_k=u_k/\sum_j u_j α k = u k / ∑ j u j ,即可使该下界在这一点处精确取等。这类界限是乘法型优化中近似与对偶论证的基础;用它们替代和式时,必须保持不等式的方向,才能发挥作用。
概率、积分形式与熵 设 X X X 是一个正的随机变量 ,其期望值 有限,且对数可积。算术—几何平均值不等式的积分形式为
exp ( E [ log X ] ) ≤ E [ X ] . \exp\bigl(\mathbb E[\log X]\bigr)\leq\mathbb E[X]. exp ( E [ log X ] ) ≤ E [ X ] .
这可由相应概率空间 上的詹森不等式推出。左侧是 X X X 的几何期望,右侧是其算术期望。由严格凹性可知,等号成立当且仅当 X X X 几乎必然 为常数。有限加权不等式是其中的一个特例,此时 X X X 以概率 w i w_i w i 取值 x i x_i x i 。
更一般地,设 f f f 是某个测度空间上的正可测函数,该空间的总测度为有限正数 m m m 。在相应的可积性假设下,归一化的积分形式为
exp ( 1 m ∫ log f d μ ) ≤ 1 m ∫ f d μ , \exp\left(\frac1m\int\log f\,d\mu\right) \leq \frac1m\int f\,d\mu, exp ( m 1 ∫ log f d μ ) ≤ m 1 ∫ f d μ ,
归一化至关重要:用于求平均的测度,其总质量必须为一。如果 f ≥ 0 f\geq0 f ≥ 0 ,其算术平均值有限,而对数积分为 − ∞ -\infty − ∞ ,则可将几何平均值定义为零,这样不等式仍然成立。这一约定体现了函数值在零附近足够强烈地集聚所产生的影响。
它与信息论 的联系尤为直观。设 p i , q i > 0 p_i,q_i>0 p i , q i > 0 是同一有限集合上的两个概率分布 。以 p i p_i p i 为权重,对 q i / p i q_i/p_i q i / p i 应用加权算术—几何平均值不等式,得到
∏ i ( q i p i ) p i ≤ ∑ i p i q i p i = 1. \prod_i\left(\frac{q_i}{p_i}\right)^{p_i} \leq \sum_i p_i\frac{q_i}{p_i}=1. i ∏ ( p i q i ) p i ≤ i ∑ p i p i q i = 1.
取负对数可得
D K L ( p ∥ q ) = ∑ i p i log p i q i ≥ 0 , D_{\mathrm{KL}}(p\|q) =\sum_i p_i\log\frac{p_i}{q_i}\geq0, D KL ( p ∥ q ) = i ∑ p i log q i p i ≥ 0 ,
这就是KL散度 的非负性。等号成立当且仅当 p = q p=q p = q 。取 q i = 1 / n q_i=1/n q i = 1/ n ,便得到信息熵 的上界
− ∑ i p i log p i ≤ log n , -\sum_i p_i\log p_i\leq\log n, − i ∑ p i log p i ≤ log n ,
当分布为均匀分布时等号成立。
对数和不等式是另一种等价表述。对于正数 a i , b i a_i,b_i a i , b i ,记 A = ∑ i a i A=\sum_i a_i A = ∑ i a i 、B = ∑ i b i B=\sum_i b_i B = ∑ i b i 。以 a i / A a_i/A a i / A 为权重,对 b i / a i b_i/a_i b i / a i 应用加权算术—几何平均值不等式,得到
∑ i a i log a i b i ≥ A log A B . \sum_i a_i\log\frac{a_i}{b_i} \geq A\log\frac AB. i ∑ a i log b i a i ≥ A log B A .
当所有比值 a i / b i a_i/b_i a i / b i 相等时,等号成立。与逐项估计不同,这一不等式利用相应的汇总量,对对数比值的加权和给出界限。它可用于证明散度的凸性和信息损失性质。因此,有限形式的不等式自然地推广到了对概率分布求平均,以及对不同概率分布本身进行比较的情形。
定量改进与稳定性 等号条件表明,只有各个数都相等时,两种平均值才相等。稳定性估计提出了一个更强的问题:如果两种平均值很接近,那么各个数必须接近到什么程度?对于两个数,这个问题有一个精确的答案:
a + b 2 − a b = 1 2 ( a − b ) 2 . \frac{a+b}{2}-\sqrt{ab} =\frac12(\sqrt a-\sqrt b)^2. 2 a + b − ab = 2 1 ( a − b ) 2 .
因此,算术平均与几何平均之差衡量的是平方根之间距离的平方。它并非在所有尺度下都简单地正比于 ( a − b ) 2 (a-b)^2 ( a − b ) 2 ,因为平均值随尺度呈线性变化,而这一差值的平方则随尺度呈二次变化。
加权推广给出了一个实用的一般下界。设
A w = ∑ i w i x i , G w = ∏ i x i w i , s = ∑ i w i x i . A_w=\sum_iw_ix_i,\qquad G_w=\prod_i x_i^{w_i},\qquad s=\sum_iw_i\sqrt{x_i}. A w = i ∑ w i x i , G w = i ∏ x i w i , s = i ∑ w i x i .
对平方根应用加权算术—几何平均不等式,得到 s 2 ≥ G w s^2\geq G_w s 2 ≥ G w 。因此,
A w − G w ≥ A w − s 2 = ∑ i w i ( x i − s ) 2 . A_w-G_w \geq A_w-s^2 =\sum_iw_i(\sqrt{x_i}-s)^2. A w − G w ≥ A w − s 2 = i ∑ w i ( x i − s ) 2 .
右侧是各个平方根的加权方差。按通常约定略去权重为零的项后,这个界对非负数成立,无须假设这些数具有正的下界,就能直接给出离散程度的定量度量。
当所有数都位于固定区间 0 < m ≤ x i ≤ M 0<m\leq x_i\leq M 0 < m ≤ x i ≤ M 内时,可以得到与通常方差之间更精细的比较。令
V w = ∑ i w i ( x i − A w ) 2 . V_w=\sum_iw_i(x_i-A_w)^2. V w = i ∑ w i ( x i − A w ) 2 .
− log x -\log x − log x 的二阶导数 介于 1 / M 2 1/M^2 1/ M 2 与 1 / m 2 1/m^2 1/ m 2 之间。在 A w A_w A w 处应用泰勒定理,再取加权平均,一次项便会抵消,从而得到
V w 2 M 2 ≤ log A w G w ≤ V w 2 m 2 . \frac{V_w}{2M^2} \leq \log\frac{A_w}{G_w} \leq \frac{V_w}{2m^2}. 2 M 2 V w ≤ log G w A w ≤ 2 m 2 V w .
因此,在固定的正数区间上,算术平均与几何平均之比的对数与方差具有相同的量级。正下界这一假设很重要:对数在趋近于零时具有奇异性,一个极小的数就可能显著拉低几何平均值。
归一化之后,局部行为尤其清晰。写成
x i = A w ( 1 + ε i ) , ∑ i w i ε i = 0. x_i=A_w(1+\varepsilon_i), \qquad \sum_iw_i\varepsilon_i=0. x i = A w ( 1 + ε i ) , i ∑ w i ε i = 0.
当所有 ε i \varepsilon_i ε i 都很小时,对数的泰勒级数 展开给出
log A w G w = 1 2 ∑ i w i ε i 2 + O ( ∑ i w i ∣ ε i ∣ 3 ) . \log\frac{A_w}{G_w} = \frac12\sum_iw_i\varepsilon_i^2 + O\left(\sum_iw_i|\varepsilon_i|^3\right). log G w A w = 2 1 i ∑ w i ε i 2 + O ( i ∑ w i ∣ ε i ∣ 3 ) .
保留主导项,有
A w − G w ≈ V w 2 A w . A_w-G_w \approx \frac{V_w}{2A_w}. A w − G w ≈ 2 A w V w .
这解释了为什么在接近取等号的情形下,差值是二阶的:由于加权平均值固定,一阶变化相互抵消。
此外,还有一个精确的信息论表达式。对于正的权重和正的数,定义 q i = w i x i / A w q_i=w_ix_i/A_w q i = w i x i / A w 。于是 ∑ i q i = 1 \sum_iq_i=1 ∑ i q i = 1 ,并且
D K L ( w ∥ q ) = ∑ i w i log w i q i = log A w G w . D_{\mathrm{KL}}(w\|q) =\sum_iw_i\log\frac{w_i}{q_i} =\log\frac{A_w}{G_w}. D KL ( w ∥ q ) = i ∑ w i log q i w i = log G w A w .
因此,这个对数差值恰好是原始权重与按各数大小成比例重新分配后的权重之间的散度。各数相等时,权重保持不变;各数不相等时,权重的质量则被重新分配。
矩阵与算子的推广 对于半正定矩阵 ,标量情形的不等式可用于其非负特征值 。若 A A A 是 n × n n\times n n × n 实对称或复厄米半正定矩阵,则
( det A ) 1 / n ≤ tr A n . (\det A)^{1/n}\leq\frac{\operatorname{tr}A}{n}. ( det A ) 1/ n ≤ n tr A .
这里,行列式 是所有特征值的乘积,而矩阵的迹 是所有特征值的和。因此,利用谱定理 ,这一结论可直接归结为标量情形的算术—几何平均值不等式。等号成立当且仅当所有特征值相等,等价地,A = c I A=cI A = c I ,其中 c ≥ 0 c\geq0 c ≥ 0 。
对于正定矩阵,这一不等式具有几何意义。椭球
{ x ∈ R n : x T A − 1 x ≤ 1 } \{x\in\mathbb R^n:x^{\mathsf T}A^{-1}x\leq1\} { x ∈ R n : x T A − 1 x ≤ 1 }
的各主半轴长为 λ 1 , … , λ n \sqrt{\lambda_1},\ldots,\sqrt{\lambda_n} λ 1 , … , λ n ,其体积与 det A \sqrt{\det A} det A 成正比。固定矩阵的迹,就固定了各半轴长的平方和。上述行列式上界表明,当所有半轴等长,即椭球为球时,体积最大。这是矩形与正方形比较的高维类似情形,不过此时固定的几何量是长度的平方和。
另一种推广则直接比较矩阵本身。对于正定矩阵 A , B A,B A , B 以及 0 ≤ θ ≤ 1 0\leq\theta\leq1 0 ≤ θ ≤ 1 ,它们的加权矩阵几何平均 定义为
A # θ B = A 1 / 2 ( A − 1 / 2 B A − 1 / 2 ) θ A 1 / 2 . A\#_\theta B = A^{1/2} \left(A^{-1/2}BA^{-1/2}\right)^\theta A^{1/2}. A # θ B = A 1/2 ( A − 1/2 B A − 1/2 ) θ A 1/2 .
其中,分数次幂通过谱分解定义。矩阵的算术—几何平均值不等式为
A # θ B ⪯ ( 1 − θ ) A + θ B , A\#_\theta B\preceq(1-\theta)A+\theta B, A # θ B ⪯ ( 1 − θ ) A + θ B ,
其中,勒夫纳序 X ⪯ Y X\preceq Y X ⪯ Y 表示 Y − X Y-X Y − X 为半正定矩阵。这种序关系比较的是二次型,而非矩阵中各个对应的元素。
为证明这一点,令 C = A − 1 / 2 B A − 1 / 2 C=A^{-1/2}BA^{-1/2} C = A − 1/2 B A − 1/2 。由标量情形的加权算术—几何平均值不等式可得
t θ ≤ ( 1 − θ ) + θ t ( t > 0 ) . t^\theta\leq(1-\theta)+\theta t \qquad(t>0). t θ ≤ ( 1 − θ ) + θ t ( t > 0 ) .
将这一不等式应用于 C C C 的每个特征值,得到
C θ ⪯ ( 1 − θ ) I + θ C . C^\theta\preceq(1-\theta)I+\theta C. C θ ⪯ ( 1 − θ ) I + θ C .
在不等式两边的矩阵上分别左乘、右乘 A 1 / 2 A^{1/2} A 1/2 ,半正定性保持不变,从而得到所述结论。当 0 < θ < 1 0<\theta<1 0 < θ < 1 时,等号成立当且仅当 A = B A=B A = B 。
非交换性解释了为何采用这样的定义。一般而言,A 1 − θ B θ A^{1-\theta}B^\theta A 1 − θ B θ 未必是厄米矩阵,因此在序不等式中,不能直接用它代替标量的加权乘积。当 A A A 与 B B B 可交换时,它们可以同时对角化,矩阵几何平均便化为 A 1 − θ B θ A^{1-\theta}B^\theta A 1 − θ B θ 。对于不可交换的矩阵,通过 A 1 / 2 A^{1/2} A 1/2 进行合同变换,既能构造出与坐标变换相容的正定矩阵,又能保留标量情形中的比较关系。
数值计算与实际解释 在浮点运算 中,先求乘积再开方来直接计算几何平均值,可能并不可靠。许多个大小适中的数相乘,即使其几何平均值仍在可表示范围内,乘积也可能上溢或下溢。对于正数输入,通常采用的替代方法是
G w = exp ( ∑ i w i log x i ) . G_w=\exp\left(\sum_iw_i\log x_i\right). G w = exp ( i ∑ w i log x i ) .
这样就不必计算完整的乘积。正权重对应的零值输入必须单独处理,因为此时几何平均值为零,而零的对数不是有限值。权重为零的输入应在计算前剔除。
如果先求一个很大的和再做除法,算术平均值的计算也可能上溢。缩放是一种计算和比较这两种平均值的简单方法。令 s = max i x i > 0 s=\max_i x_i>0 s = max i x i > 0 ,并令 y i = x i / s y_i=x_i/s y i = x i / s 。则
A w = s ∑ i w i y i , G w = s exp ( ∑ i w i log y i ) , A_w=s\sum_iw_iy_i,\qquad G_w=s\exp\left(\sum_iw_i\log y_i\right), A w = s i ∑ w i y i , G w = s exp ( i ∑ w i log y i ) ,
且每个 y i y_i y i 都在 ( 0 , 1 ] (0,1] ( 0 , 1 ] 内。比较归一化后的平均值,就能消去共同的尺度因子。当项数很多或权重差异很大时,准确求和仍然很重要;对数计算解决的是数值范围问题,并不能消除舍入误差。
接近等号成立的情形时,减法 A w − G w A_w-G_w A w − G w 可能因相消而损失精度。若
δ = log ( A w / G w ) , \delta=\log(A_w/G_w), δ = log ( A w / G w ) ,
则
A w − G w = A w ( 1 − e − δ ) . A_w-G_w=A_w(1-e^{-\delta}). A w − G w = A w ( 1 − e − δ ) .
当 δ \delta δ 很小时,可以使用专门用于准确计算 e z − 1 e^z-1 e z − 1 的数值例程,将其中的因子计算为 − expm1 ( − δ ) -\operatorname{expm1}(-\delta) − expm1 ( − δ ) 。计算 δ \delta δ 本身仍需谨慎:若 x i = A w ( 1 + ε i ) x_i=A_w(1+\varepsilon_i) x i = A w ( 1 + ε i ) ,采用专门计算 log ( 1 + ε i ) \log(1+\varepsilon_i) log ( 1 + ε i ) 的对数例程,比先对 1 + ε i 1+\varepsilon_i 1 + ε i 舍入、再调用通用对数函数,能更准确地保留微小偏差。这些问题涉及的是数值稳定性 ,并非这一精确不等式的例外。
如何解释平均值,也取决于各个量以何种方式组合。算术平均值描述的是加法意义上的平均,几何平均值描述的则是平均乘法因子:对于正因子 r 1 , … , r n r_1,\ldots,r_n r 1 , … , r n ,产生相同累积乘积的恒定因子为
g = ( r 1 ⋯ r n ) 1 / n , g n = ∏ i r i . g=(r_1\cdots r_n)^{1/n}, \qquad g^n=\prod_i r_i. g = ( r 1 ⋯ r n ) 1/ n , g n = i ∏ r i .
算术—几何平均值不等式表明,这个等效的恒定因子不超过各因子的算术平均值。它并不是说某一种平均值在所有情况下都更好;两者回答的是不同的问题。
当输入表示物理量时,只有这些量具有相同量纲,其算术平均值才有意义。此时,改变单位会使两种平均值都乘以同一个正因子,因此不会改变它们的大小关系。在对数计算中,使用 x i / s x_i/s x i / s 这样的无量纲比值,可以明确体现这种不变性。因此,该定理的齐次性既决定了其精确的数学形式,也指导着可靠的数值计算。