在概率论中,随机变量的期望值是其按概率加权的平均值:将每个可能取值乘以该取值出现的概率,再把所有乘积相加(对于连续型变量则为积分)。它也被称为期望或均值,是衡量随机量集中趋势的基本指标。它之所以有用,是因为它可以理解为同一试验进行大量独立重复时的长期平均值,这一联系由大数定律予以形式化。该概念产生于十七世纪,源于博弈中赌注公平分配的问题;此后经由后来的概率学家的工作获得现代形式,并在二十世纪通过测度论概率得到严格表述。
本词条首先把期望值作为一种计算对象来讨论:包括其在离散型与连续型变量下的定义、存在条件,以及使其便于计算的各项规则,其中最重要的是线性性——即使变量之间相依,线性性仍然成立。随后转向其历史发展,以及把期望值解释为长期平均值的观点,包括该解释可能产生误导的地方。其余各节追溯期望值作为决策准则的应用,以及该准则所引发的悖论,其在组合计数和随机化算法中的作用,其向条件期望和鞅的推广,以及它在统计估计、机器学习和物理学中的地位。在物理学中,“期望值”一词用于指代与之密切相关但并不相同的量。
离散随机变量
对于取值于有限或可数集合中的离散随机变量 ,其期望值为
其中求和遍历 可能取到的值 , 是它的概率质量函数。权重非负且总和为一,因此该表达式是各可能取值的加权平均,每个值按其概率所占的比例计入。由于公式只用到 的概率分布,任意两个具有相同分布的变量都具有相同的期望值。
一枚均匀的六面骰子以概率 出现 1 至 6 中的每个点数,因此
3.5 并不是骰子能掷出的点数。这说明期望描述的是长期平均,而不是单次掷骰所期望得到的结果。
一个简单的赌局给出第二个例子。设某次下注以概率 0.3 赢得 5 个单位,以概率 0.7 输掉 2 个单位。则 ,因此每次下注的期望收益虽小但为正。若输掉的是 3 个单位,期望则变为 ,这场赌局对玩家不利。可见期望值的符号可以区分有利与不利的赌局,这一点将在关于决策的部分进一步展开。
当 取可数多个值 时,有限和变为无穷级数。例如,若对 有 ,则 。一般而言,只有当级数绝对收敛时,期望才有定义,即
这一条件之所以重要,是因为符号混杂的级数可能收敛,但其和会随各项的重排而改变。举例来说,设对 , 以概率 取值 。这些概率之和为一,且 收敛于 。然而 发散,因此尽管带符号的级数收敛, 仍无定义。若没有绝对收敛,其值将取决于可能取值的排列顺序,这正是定义中要求绝对收敛的原因。
多数教材用 表示期望值, 也很常见,尤其是在偏好使用圆括号的写法中。在统计学中,同一量常记作 或 。"期望值""期望"以及指分布而非数据集的"均值"这几个术语可以互换使用。样本均值则是另一个对象,是该量的估计量,将在关于估计的部分讨论。连续情形的对应概念用密度函数对积分代替求和,将在下一节中介绍。
一般定义与连续情形
当随机变量 具有概率密度函数 时,离散定义中的求和变为积分:
前提是 为有限值。量 所起的作用与离散情形中的概率质量相同:它是赋予 附近一个小区间的权重。区间 上的均匀分布在该区间上的密度为 ,积分得到 ,即该区间的中点。对于速率为 的指数分布,积分 等于 。下面的尾部公式能以更少的计算得到相同的结果。
测度论定义
一般定义建立在概率空间 上,其中 是一个可测函数。期望即 关于 的勒贝格积分:
这一个公式同时适用于离散型与连续型随机变量。两类变量都会在 上诱导出一个分布;当该分布关于勒贝格测度具有密度时,一般积分即化为上面的密度公式。
对于既取正值又取负值的变量,可将 分解为 ,其中 、 均非负。于是 ,只要两项中至少有一项为有限值,该式即有意义。
存在性
当且仅当 为有限值时期望存在,这等价于 与 均为有限值。仅有对称极限是不够的。柯西分布的密度为 。 关于该密度的积分在两端都以对数方式发散,因此期望无定义。对称截断积分 对每个 都等于零,因此沿对称截断取极限是存在的。然而,该极限是一个主值,它并不满足期望的定义。
尾部公式
对于非负随机变量 ,
该恒等式可通过逐点写出 ,再交换积分次序得到;对非负被积函数而言,交换次序是合理的。无需任何有限性假设,因此两边都可能等于 。这使该公式成为处理无穷期望的实用工具:当尾概率衰减得太慢,以致积分不收敛时,期望即为无穷。例如,若对 有 ,则当 时 ;而当 时积分发散,。这类厚尾与幂律行为密切相关。对于正负两侧的单侧期望均为有限值的变量,同样的思路给出 。
基本性质与计算规则
线性性
对于有限个随机变量 (每个都具有有限期望)以及实常数 ,加权和的期望等于各项期望的加权和:
这一恒等式与变量之间的关系无关。对于离散变量,可以由联合概率质量函数直接验证:对所有取值对求和 ,结果分解为 加上 ,因为每个边缘分布都可以通过对另一变量求和得到。在一般的测度论框架下,同样的结论可由勒贝格积分的可加性推出。将线性性推广到无穷和则并非自动成立,需要一个控制条件,例如 ,此时就要用到控制收敛定理和单调收敛定理。
单调性、常数与界
若 几乎必然 成立,且两者的期望都存在,则 。常数会使期望平移同样的量,即 ,而数乘则使期望按同一倍数缩放:。对 应用单调性,得到
并且若 几乎必然成立,则 。不等式 是詹森不等式对凸函数 的特例。它也等价于方差的非负性。
变量函数的期望
若 ,其中 为可测函数,则 的期望可以直接由 的分布计算,而无需先求出 的分布。对于离散变量,
对于密度为 的连续变量,
前提是 。这一结论常被称为"无意识统计学家定律"。对于一颗均匀的骰子,,无需写出 的分布即可得到。对于在 上均匀分布的 ,;若不使用该定律,则必须先推导 的密度。
乘积、协方差与方差
若 与 相互独立且二者都可积,则 。对于离散变量,证明是直接的:,因此二重和可以分解。连续情形沿用同样的思路,只需把联合分布换成联合密度。反之则不成立,对于不独立的变量,乘积法则会失效。对于一颗骰子,取 ,则 ,而 。
一般的恒等式是 ,其中 为协方差。独立性会迫使协方差为零,但协方差为零并不能推出独立。设 在 上均匀分布,且 。此时 ,,因此协方差为零,但 是 的函数,两者显然相依。
方差可由同样的工具导出。展开 并取 ,利用线性性得到
因此 。对于一颗骰子,这给出 。常数以平方的形式进入方差,故 。对于任意两个变量,;当协方差为零时(特别是在独立的情形下),它退化为可加性法则。公式 要求二阶矩有限;若二阶矩不存在,即使期望存在,方差也是无穷的。标准差即为该量的平方根。
起源与历史发展
期望值的概念源于十七世纪的赌博问题,其中最著名的是"点数问题":当一场机会游戏在结束前中断时,如何公平地分配赌注。这个问题争论了几个世纪,直到1654年才重新获得推动力。当时法国作家、业余数学爱好者梅雷骑士(Chevalier de Méré)把这个问题提给了布莱兹·帕斯卡。帕斯卡随后与皮埃尔·德·费马通信。他们的书信不是从游戏已有的结果出发,而是从未完成游戏的各种可能后续出发进行推理,历史学家通常把概率论的奠基追溯到这次通信。这些信件在一段时间内并不公开,因此其方法是通过后来的著作才逐渐为更广泛的公众所知。
克里斯蒂安·惠更斯的《论掷骰游戏中的推理》(De ratiociniis in ludo aleae,1657年)是第一部明确阐述这一原理的印刷著作。惠更斯听说过巴黎的讨论,但独立得出了自己的解法,并把这种方法推广到两人以上以及更复杂的情形。他的基本命题是:一个前景的价值,等于在公平游戏中能给出相同期望的那个金额。由此他推导出两个等可能前景的规则:若一个参与者以相等的机会得到 或 ,则该期望的价值为 。他的论证是基于博弈论的,而不是基于长期频率,并且确定了哪些赌注分配方式算是公平的。"期望"(expectation)一词在帕斯卡和惠更斯那里并不具有现代含义,其数学意义是在之后逐步发展形成的。
雅各布·伯努利的《猜度术》(Ars Conjectandi)于1713年在他去世后出版,标志着下一步的发展。该书第一部分重印了惠更斯的论文并附有评注,还用从装有金钱数额的盒子中抽取的赌徒为例,给出了得到同一规则的更简单途径。第四部分包含大数定律的早期表述,该定律把观测结果的长期平均值与潜在概率联系起来。随后,皮埃尔-西蒙·拉普拉斯为这一量赋予了明确的名称。在1814年的《概率的哲学探讨》(Essai philosophique sur les probabilités)中,他将一场游戏的优势定义为所期望的金额乘以获得该金额的概率,并称之为"数学希望"(mathematical hope),将其与赌注的公平分配联系起来。拉普拉斯还将它与"道德期望"(moral expectation)区分开来,后者是基于财富效用的另一种观点。有一种说法认为形容词"数学的"(mathematical)最早出现在他1812年的《概率的解析理论》(Théorie analytique des probabilités)中,因此不同资料对这一术语出现的确切时间记载并不一致。
十九世纪,帕夫努季·切比雪夫开始系统地从随机变量的期望角度进行思考。1901年,符号发生了变化:威廉·艾伦·惠特沃思在《选择与机会》(Choice and Chance)中用字母 E 表示期望。此后,这一记号逐渐成为英语文献中的标准用法,与德语的 Erwartungswert、法语的 espérance mathématique 和西班牙语的 esperanza matemática 等术语并存。现代公理化基础则确立于1933年,当时安德雷·柯尔莫哥洛夫将概率定义为概率空间上的测度。在这一框架下,随机变量的期望成为关于该测度的积分,使这一概念建立在测度论的基础之上。
长期平均与大数定律
频率解释
设 是随机变量 的独立同分布副本,其有限均值为 ,记它们的样本均值为 。当 很大时,样本均值通常接近 。若 有限,则切比雪夫不等式给出了这一论断的定量形式:
随着 增大,该上界趋于零。这就是大量重复试验的结果“稳定”在期望值附近的确切含义。对于一颗均匀的骰子,多次掷出的点数平均值趋近于 3.5,尽管单次掷出的结果永远不可能恰好是这个数。这一论证依赖于试验的独立性与同分布性,即每次试验都不受其他次试验的影响(参见统计独立)。
弱大数定律与强大数定律
大数定律有两种主要形式,区别在于收敛的方式。弱大数定律指出, 依依概率收敛于 :对任意容差 , 与 的距离超过 的概率趋于零。强大数定律指出, 几乎必然收敛于 ,即样本平均值无法趋于 的那些结果构成的集合,其概率为零。这样的失效序列可能存在,只不过它们在样本空间中所占的比例无穷小。强形式蕴含弱形式,但弱形式更容易建立。显然,强大数定律蕴含弱大数定律;但弱大数定律更容易证明,而且给出的定量估计也略好一些。
两者的条件也有所不同。当方差有限时,弱大数定律可以由切比雪夫不等式推出一个简短的论证,这是教科书中最常见的做法。当变量的方差有限时,证明很简单,而且通常就基于切比雪夫不等式。对于强大数定律,柯尔莫哥洛夫定理只要求变量同分布且均值有限,不需要方差假设。对于独立同分布变量,弱大数定律同样只需有限均值即可成立,不过若没有方差上界,证明会更困难。如果均值不存在,样本平均值则未必收敛到任何常数。
期望值与众数、中位数的比较
期望值是一种加权平均,它可能与最可能出现的结果或中位数相差很大。考虑一个假设的彩票:每张彩票售价为 1 个单位,净收益 取三个值:以概率 0.97 取 ,以概率 0.02 取 ,以概率 0.01 取 。其期望值有定义且为正:
众数,即最可能的取值,是 。中位数也是 ,因为 超过二分之一。因此,97% 的购买者会损失掉彩票的价格,而均值则被一个罕见的大奖拉高。若某人购买大量彩票,其总体平均值会趋近于每张彩票 9.11,因此期望值描述的是这一游戏的长期平均结果,而不是任何一位玩家的典型结果。在收入或保险理赔金额等高度偏态的分布中,同样会出现均值与中位数之间的这种差距。
这种解释的局限
期望值未必是该变量能够取到的值。一颗均匀骰子的期望是 3.5,但没有任何一面显示这个数字。它也无法预测任何单次试验的结果:在上面的彩票例子中,单张彩票几乎必然输掉。大数定律讨论的是大量试验的平均值,并不意味着一连串的损失会被之后的收益抵消。偏离均值的部分不会被后续试验“偿还”,只是随着 增大而被稀释。当均值不存在时(例如柯西分布),样本平均值根本无法稳定下来,这时上述解释就完全失效了。
决策、效用与悖论
作为一种决策准则,期望值按照概率加权后的收益对各选项进行排序。在决策理论中,当赌注较小且决策会重复多次时,期望收益较高的选项通常是默认选择。同样的推理也是保险定价的基础。保险公司收取的保费高于索赔的期望成本(扣除行政费用之后),便能在大量投保人之间获得稳定的利润,而大数定律使这一利润变得可靠。个人投保时支付的金额超过期望损失,是因为购买保险把一笔不确定的大额损失转换成了一笔确定的小额支出。评估一项赌注也是同样的道理。以概率0.5赢得100、以概率0.5输掉80的赌局,其期望收益为+10,因此平均而言对投注者有利。期望收益为负的游戏长期必然亏损,这也是赌场游戏要设置“庄家优势”的原因。
圣彼得堡悖论揭示了这一准则的局限。一枚均匀硬币被反复抛掷,直到首次出现正面为止。若首次正面出现在第n次抛掷时,玩家获得2^n个单位。由于P(n) = 2^(-n),期望的每一项都等于1,因此总和是无穷多个1相加的级数,期望收益发散。尼古拉·伯努利在18世纪初提出了这一问题,丹尼尔·伯努利于1738年在圣彼得堡科学院的论文集中发表了分析,这个游戏因此得名。很少有人愿意为这一游戏支付较高的费用,这表明人们实际比较的并不是货币的期望值。丹尼尔·伯努利的应对办法是计算效用的期望变化,而不是货币的期望值。他假设,小额收益带来的效用增量与当前财富成反比,积分后得到对数效用函数 u(w) = ln w。在这一函数下,期望效用是有限的,隐含的公平价格也较为适中。加布里埃尔·克拉默早在1728年就提出了平方根效用。后来的分析表明,当奖金增长得足够快时,在对数效用下悖论依然可以重新构造,因此有些处理方法需要采用有界效用。
期望效用理论将这一思想加以推广:理性的行为主体会选择使某一效用函数 u 的 最大化的选项。其现代公理化形式由约翰·冯·诺依曼和奥斯卡·摩根斯坦在1944年关于博弈论的著作中给出,其公理包括完备性、传递性、连续性和独立性。这些公理保证了能够表示偏好的效用函数存在。风险厌恶表现为 u 的凹性。根据詹森不等式,对于凹函数 u,有 ,因此具有这种效用函数的人更偏好一笔等于赌局期望值的确定支付,而不是赌局本身。两者之间的差距可用来衡量风险厌恶的程度。
实验证据对期望效用作为描述性模型提出了挑战。1953年,莫里斯·阿莱描述了一组选择:许多受访者在第一组中选择了确定的选项,而在第二组中却选择了有风险的选项。例如,许多人宁可确定得到100万,也不愿选择一个有10%概率得到500万、89%概率得到100万的赌局;但他们又更偏好有10%概率得到500万的赌局,而不是有11%概率得到100万的赌局。这些选择违反了独立性公理,因为在每组两个选项中加入相同的共同结果,不应使偏好发生逆转。丹尼尔·埃尔斯伯格1961年的瓮实验得出了相关的违背:人们更愿意押注概率已知的颜色,而不愿押注概率模糊的颜色,这一模式如今被称为模糊厌恶。作为回应,丹尼尔·卡尼曼和阿莫斯·特沃斯基于1979年提出了前景理论。该理论将结果视为相对于参照点的收益或损失来评估,使用的价值函数对收益呈凹性,对损失呈凸性,且损失一侧更为陡峭;同时采用概率权重,高估小概率事件和近乎确定事件的影响。诸如秩依赖期望效用之类的相关形式模型,则保留了单一加权平均的结构,只改变概率的变换方式。
组合学中的线性性与指示变量
指示变量把计数化为求和
指示变量是一种随机变量:事件 发生时取值为 1,否则取值为 0。由于它只取 0 或 1,其期望就等于取值为 1 的概率,即 。于是任何计数都可以写成若干指示变量之和。若 统计事件 中发生的个数,则 ,再由期望的线性性得 。这一计算只需要各个事件的单独概率,而不需要求出 的分布。对组合计数而言,后者往往难以计算。
随机置换的不动点
一个标准例子是:在 上均匀随机的置换中,不动点(即被映到自身的元素)的个数。令 表示元素 为不动点的指示变量。在 个置换中,恰有 个使给定元素保持不动,因此 。对 个元素求和得 。所以对任意 ,不动点的期望个数都是 1。若逐一枚举全部 个置换,计算会十分繁琐,而指示变量的论证只需几行。
该论证从未用到各指示变量 之间相互依赖这一事实。若元素 1 是不动点,元素 2 同时为不动点的概率会改变,但线性性并不在意这一点。这正是其中的一般性要点:线性性对任意随机变量都成立,因此依赖关系不影响和的均值。
相依事件与计数模式
同一技巧也适用于各项相互重叠的计数。考虑随机置换中的逆序数,即满足 且次序颠倒的数对 。由对称性,每个数对被颠倒的概率为 1/2,共有 个数对,因此期望计数为 。类似地,在 次公平掷硬币的序列中,相邻两个位置结果相同的期望个数为 。相邻位置的指示变量并不独立,因为它们共享一次掷币结果,但期望值不受影响。这类计算通常远比精确求出模式分布的做法简单。
通常的注意事项依然适用:线性性给出的是和的均值,而不是和为正的概率。要证明某个计数以正概率为零,需要进一步的论证,而这正是概率方法发挥作用之处。
概率方法与拉姆齐图
概率方法利用期望证明具有所需性质的对象存在,而无需将其构造出来。其关键步骤是一阶矩原理:若“坏”构型的期望个数小于 1,则必存在某个构型完全不具有任何坏性质。
保罗·厄尔多斯于 1947 年将这一思想应用于拉姆齐数。拉姆齐数 是满足如下条件的最小的 :对 的边作任意红蓝二染色,都会出现一个含 个顶点的单色完全子图。在随机染色中,给定的 个顶点构成单色子图的概率为 。对全部 个 元顶点集求和,单色 团的期望个数为 。当 约为 且 时,该量小于 1,因此存在某种染色不含任何单色 团。这一论证在没有具体给出该染色的情况下,证明了 的指数级下界。该结果常被视为概率方法的开端。数十年间,它一直是拉姆齐数下界估计的主要方法,后来的改进只在常数因子上有所提高。
该方法本质上是非构造性的:它只证明存在性,而具体对象仍然未知。此后其他数学家沿用同一思路,即通过估计“坏事件”的期望个数来得出结论。这一方法在概率方法一文中有更系统的阐述;此处用到的计数工具则依赖于二项式系数与置换。
随机化算法与运行时间
对于随机化算法,运行时间本身就是一个随机变量,因为算法会消耗随机比特,而这些比特决定了它执行哪些步骤。其期望运行时间是在输入固定的情况下,对内部随机选择取平均得到的结果。这与确定性算法的平均情况分析不同,后者是对输入的分布取平均。由于随机性属于算法本身,无需对输入如何生成作任何假设,就可以界定每个输入上的期望代价,因此没有任何固定输入能够可靠地使期望行为变差。最坏情况期望运行时间,是所有输入上这种逐个输入的期望的最大值。
随机化的快速排序是标准的示例。其基准元素从当前子数组中均匀随机选取。设排序后的值为 ,令 为比较次数的总和。定义指示变量 :当 与 被比较时取 1,否则取 0。当从区间 中首先被选为基准的元素恰好是二者之一时,两者会被比较,其概率为 。再由期望的线性性质得到
其中 是第 个调和数。由于 ,有 ,而总运行时间为 ,因此期望运行时间为 。该论证只用到期望的线性性质,不需要指示变量之间相互独立,因此即使比较之间存在强烈的依赖关系,它依然成立。
随机化算法可分为两类,二者的区别在于随机性影响的是什么:拉斯维加斯算法总能返回正确答案,只有运行时间是随机的,随机化快速排序即属此类。蒙特卡罗算法的运行时间有界,但可能以较小的概率返回错误答案,例如 Karger 的随机化最小割算法。两类算法之间存在联系:拉斯维加斯算法可以通过设定固定的时间上限、若未能完成则输出任意答案,转化为蒙特卡罗算法。马尔可夫不等式指出,对于非负运行时间 ,有 。它用期望运行时间界定超过时限的概率,因此期望值控制了转化后算法的错误率。
哈希表提供了应用最广泛的例子。在采用分离链接法、简单均匀哈希的假设下,键被独立且均匀地放入 个槽中,装载因子 即平均链长。成功查找与失败查找的期望时间均为 。若从全域哈希族中随机选择哈希函数,分析便从对数据的假设转向随机选择本身的性质:两个不同的键发生冲突的概率至多为 。对其他已存储的键求和可知,与某个固定键发生冲突的期望次数至多为 ,其中 为已存储键的数量, 为表的大小。因此,当表的大小与 成正比时,每次查找、插入或删除的期望代价都是常数。
摊还分析是对这些期望的补充。表扩容时,单次调整大小可能需要 的时间,但将容量加倍会把这一代价分摊到之前大量廉价的插入操作上,使每次更新的摊还代价为 。摊还分析是对一系列操作取平均,而不是对随机选择取平均。两种平均常常结合使用,例如随机化数据结构的期望摊还代价。
条件期望与鞅
定义与解释
设随机变量 满足 , 为子 σ-代数。条件期望 是一个随机变量 ,它是 -可测的、可积的,并且满足
由于 只在概率为零的事件意义下确定,上述定义式都是几乎必然成立的。当 由离散变量 生成时,该对象化为 ,其中 由条件概率计算得到。它本身是随机的,因为其取值随 变化。
它的核心解释是预测。在所有具有有限二阶矩的 -可测变量 中, 使均方误差 最小。因此,它是在 所含信息条件下, 的最佳均方预测。无条件均值是一个特例:当 为平凡 σ-代数 时,没有任何可用信息,此时最佳的常数预测就是 。
核心性质
- 线性与单调性与普通期望相同:;若 ,则几乎必然有 。
- 塔性质。 若 ,则
取 为平凡 σ-代数,即得全期望定律 。直观地说,较粗的信息不能通过对更精细的信息取平均而得到一个改变预测的结果。
- 提取已知因子。 若 为 -可测且 可积,则 。
- 独立性。 若 与 独立,则 ,因为 中的信息对 毫无说明作用。
- 条件延森不等式。 对于凸函数 ,有 。
在这一框架中,σ-代数表示在某一时刻可获得的信息,σ-代数越大,表示信息越精细。
鞅与可选停止
若序列 关于滤子 适应,且每个 可积,并满足
则称其为鞅。在给定历史的条件下,过程的期望变化为零,这正是鞅用来刻画公平博弈的含义。若将等号换成 或 ,则分别得到下鞅或上鞅。对任意可积的 ,序列 是鞅,这可以直接由塔性质推出。
停时 是一个随机时刻,其事件 由直到时刻 为止可获得的信息决定。可选停止定理在适当的条件下断言 。这些条件包括: 有界;鞅有界且 几乎必然有限;或 可积且增量有界。这些假设不能省略。在公平硬币游戏中,一种加倍下注、在首次获胜时停止的策略以概率 1 获得净收益 1,因此终止值的期望为 1,而起始值为 0。这里停时无界,鞅也不是一致可积的,所以结论不成立。一般性的表述见可选停止定理及其相关概念停时。
借助拉东—尼科迪姆定理的存在性
一般定义需要一种不依赖密度或初等条件化的构造。对于非负的 ,在 上定义测度 ,再把一般的可积 拆分为正部和负部分别处理。对 ,由 可推出 ,因此 相对于限制在 上的 绝对连续。随后,由拉东—尼科迪姆导数的存在性定理可知,存在 -可测的密度 ,且在零测集意义下唯一,该密度即为 。由于 是有限测度,所需的 σ-有限性自然成立,因此该构造在概率空间上具有完全的一般性。
估计与统计
样本均值与偏差
设 为某个期望为 的变量的观测值。样本均值 是 的自然估计量。对求和应用线性性可得,对所有 都有 ,因此样本均值是无偏估计量。形式上,样本均值的期望是通过把期望号移入求和号内、再化为 来计算的。
参数 的估计量 的偏差定义为 。期望值等于其所估计参数的估计量称为无偏估计量。实际上,多次重复估计并对结果取平均,能够恢复真值,而且这在任何样本量下都成立。通过求均值来重复估计期望值,平均而言会得到正确的结果。
无偏性并非对每一种自然构造都自动成立。若以离差平方的平均来估计方差,即对各观测与 的偏差平方求和后除以 ,该估计量的期望为 ,因此会系统性地低估 。改为除以 ,则得到方差的无偏估计量,因为因子 弥补了这一不足。直观的解释是:相对样本均值而非真实均值度量的偏差,平均而言更小。偏差只是精度的一个方面:均方误差可以分解为估计量的方差与其偏差平方之和。
样本均值的方差与标准误
当观测相互独立且方差相同(均为 )时, 的方差为 。因此,样本量增大时,估计值的离散程度随之缩小,其标准差以 的速率下降。估计量的标准差称为其标准误。它就是估计量的标准差,表示估计量与参数之间的典型偏离程度。
该公式需要用到 ,而它通常是未知的。因此,若要用样本均值的方差衡量其精度,就需要知道总体方差,而这往往做不到。实践中用样本标准差 代替 ,得到估计标准误 。注意,仅凭线性性即可得到 的均值;而方差公式 还需要独立性。
矩估计法
矩估计法是最古老的估计技术之一,由卡尔·皮尔逊于 1894 年提出。对每个正整数 ,总体矩 与样本矩 相对应。令样本的前 阶矩分别等于对应的前 阶总体矩,再解所得方程组,即可得到估计量。
对于速率为 的指数分布,一阶矩为 。令样本均值等于该总体矩,得到 ,因此 。对于正态分布,前两阶总体矩为 和 。将其与样本矩匹配,得到 ,以及 。这一方差估计正是上文讨论的除以 的版本,因此矩估计量可能是有偏的。
后验期望与中心极限定理
在贝叶斯推断中,参数被视为随机变量,并由结合先验分布与数据得到的后验分布来描述。在平方误差损失下,从贝叶斯的观点看,最优估计量是后验均值。若改变损失函数,汇总量也随之改变:在绝对误差损失下,贝叶斯估计是后验中位数。
举例来说,20 次试验中观测到 13 次成功,结合合适的先验分布,得到的后验分布是参数为 、 的 Beta 分布。Beta 变量的均值为 。因此后验均值为 ,可作为成功概率的点估计。
中心极限定理描述了大样本下 的抽样分布。其分布近似为正态分布,中心在 ,方差为 。这一近似是使用标准误的置信区间和检验的基础,也是一般性地解释样本均值估计不确定性的依据。
机器学习与优化
期望风险与经验风险
在监督学习中,预测函数 通过损失函数 来评分。其期望风险为 ,期望取自输入与标签的联合分布。该量也称为真实风险或泛化误差。由于数据生成分布几乎总是未知的,这一期望无法直接计算。因此,学习过程用经验风险来替代,即 个训练样本上损失的样本均值:
每个训练损失都是从同一分布中抽取的一个样本,因此这一样本均值估计期望风险的方式,与样本均值估计期望值的方式相同。经验风险最小化(ERM)选择使 最小的预测函数,并以此作为无法直接达到的目标的代理。
泛化间隙与过拟合
差值 称为泛化间隙,恒等式 由定义直接成立。因此,只有当间隙保持较小时,最小化经验风险才能控制真实风险。预测函数通常在见过的样本上比在新样本上表现更好,所以间隙一般为正。
该间隙是过拟合的形式化描述。一个记住了训练集的模型可以使 接近零,但它在未见数据上的表现仍然很差。在经典图景中,提高模型复杂度起初会同时降低经验风险和期望风险;超过某一点后,期望风险重新上升,而经验风险仍在持续下降。实践中通常用留出的测试集来估计真实风险,其平均损失同样是一个样本均值。拟合样本与从样本中泛化之间的权衡,在偏差-方差权衡和泛化理论中有进一步讨论。
随机梯度下降
用梯度下降最小化经验风险,需要平均损失的梯度,它等于逐样本梯度的平均值。计算它意味着每一步都要遍历整个数据集,对大规模数据集而言并不现实。随机梯度下降(SGD)则均匀随机抽取一个样本 ,并以 作为更新方向。由于抽样是均匀的,该梯度的期望等于完整梯度,即 ,因此估计是无偏的,尽管每一步都带有噪声。
小批量 SGD 使用一个由 个样本组成的随机子集 以及平均梯度 。它仍然是无偏的,而其方差按 的比例下降。实践中的权衡在于每步成本与梯度噪声之间:批量越大,方向越准确,但所需计算也越多。由于噪声的均值为零,它会在多次迭代中相互抵消;收敛性分析通常要求步长之和发散,而步长平方之和保持有限。常用的小批量大小从几十到几百个样本不等。
强化学习中的期望回报
在强化学习中,智能体在环境中行动并获得奖励。从时刻 开始的折扣回报为 ,其中折扣因子 介于 0 与 1 之间。回报满足递推关系 。状态价值函数是在给定策略 下,从某一状态出发的期望回报:。
对该递推式取期望,得到贝尔曼期望方程:
因此,一个状态的价值等于期望的即时奖励加上后继状态经折扣后的期望价值。该方程把相邻状态的价值联系起来,把长时域问题转化为一步的一致性条件。对于最优行为,贝尔曼最优方程用对动作取最大值来代替策略平均,即 。价值迭代和策略评估利用这些方程计算价值,蒙特卡洛方法则通过对采样得到的回报取平均来估计价值。
物理学中的期望值
量子期望值与玻恩规则
在量子力学中,可测量的物理量由作用于态的希尔伯特空间上的自伴算符 表示。对于由波函数 描述的纯态,若其归一化满足 ,则期望值为
对于密度算符为 的混合态,同一量为 。若 的本征值为 ,本征投影算符为 ,则 。这是对各可能测量值的概率加权平均,其权重即由玻恩规则给出的概率。在非简并情形下,结果 的权重为 。因此,期望值在代数形式上与离散分布随机变量的期望值相同,但分布本身由态和算符共同决定。
量子平均与经典平均的来源不同
在经典统计物理中,期望值是对一个反映知识不完备的概率分布取平均。每个体系都有确定的位置和动量,取平均是为了弥补我们不知道实际成立的是哪一组值。在量子理论中,态矢量被视为体系的完整描述,因此随机性并不归因于对初始态的无知,而是在进行测量时产生的。
这一区别带来了诠释上的后果。一些作者强调,量子期望是一个形式上的量,其含义与任何诠释无关;而把它与测量结果联系起来的陈述,则是一个单独的假设。注意,q-期望值具有独立于诠释的形式含义;玻恩规则的测量期望形式只是断言:测量结果是一个随机变量,其期望与形式上的量子期望一致。在量子统计力学中,分析往往不涉及任何显式的测量,此时出现的期望值通常被当作形式表达式来处理。人们通常对量子过程进行理论分析时,假设在过程完成之前不进行任何实际测量。
埃伦费斯特定理
保罗·埃伦费斯特于1927年证明,位置和动量的期望值满足与经典运动形式相同的方程。对于哈密顿量为 的粒子,结果为
第一个方程是速度关系的量子类比,第二个方程则类似于牛顿第二定律。然而,该定理并不意味着期望位置一般遵循经典轨迹。力项是 的期望,而不是在期望位置处求值的力,因此一般有 。这两个量之间的差距由波包的弥散程度决定。对于谐振子,力是线性的,该陈述严格成立;当波函数高度局域化时,它近似成立。该近似对波包弥散程度的依赖关系见于该定理的标准论述中。对于一般体系,若波函数高度集中于某一点,则期望位置和期望动量几乎相同,因为二者都近似等于该点。
统计力学中的系综平均
在统计力学中,与热库保持固定温度 的体系用正则系综描述。能量为 的微观态 的概率为
其中 是配分函数。平均能量是哈密顿量在该分布上的期望,即 。它可以仅由 通过求导得到:
这一求导关系正是配分函数居于核心地位的实际原因。一旦 作为温度的函数已知,平均能量以及由此得到的其他热力学量便可以无需对各个态求和而得到。在此情形下,平均能量与体系的内能一致。在正则系综中能量本身并不固定,因此其涨落也用方差来度量,即 。
与上面的量子期望值一样,这些系综平均都是概率加权平均。二者的区别在于权重的来源:在正则系综中,权重来自玻尔兹曼分布与热平衡;在量子理论中,权重则来自对某个态应用玻恩规则。
参考来源
- Properties of Expected Value - GeeksforGeeksgeeksforgeeks.org
- Random Variables COS 341 Fall 2002, lecture 21cs.princeton.edu
- Variance 3.3.1 Linearity of Expectation with Indicator RVsweb.stanford.edu
- 6.2: Variance of Discrete Random Variables - Statistics LibreTextsstats.libretexts.org
- Foundations of Vector Retrievalarxiv.org
- Covarianceen.wikipedia.org
- Expected valueen.wikipedia.org
- Theory of Probability. A Historical Essayarxiv.org
- Chance Combinatorics: The Theory that History Forgot John D. Nortonsites.pitt.edu
- Theory of Probability. An Elementary Treatise against a Historical Backgroundarxiv.org
- Expected values (mathematical concept)ebsco.com
- Reading Theorie Analytique des Probabilitesarxiv.org
- Definition:Expectation - ProofWikiproofwiki.org
- Expected value - Wikiwandwikiwand.com
- Expected Value Formula: E(X) = Σx·P(x) — Definition, Examples & Calculatorstatisticsfundamentals.com
- Faith Believes, Hope Expects: The Impact of Calvin's Theology on the Mathematics of Chancearxiv.org
- Weak and Strong Law of Large Numbersdavidbieber.com
- 275A, Notes 3: The weak and strong law of large numbersterrytao.wordpress.com
- Law of Large Numbersstatlect.com
- The Laws of Large Numbers Compared Tom Verhoeff July 1993 1 Introductiondklevine.com
- St. Petersburg paradoxen.wikipedia.org
- The St. Petersburg Paradox (Stanford Encyclopedia of Philosophy)plato.stanford.edu
- Utility assessmenten.wikipedia.org
- The Saint Petersburg Paradox and Its Solution[v1]preprints.org
- The time resolution of the St Petersburg paradoxroyalsocietypublishing.org
- Exploring the Allais Paradox in Microeconomic Theoryumbrex.com
- A Contextual Risk Model for the Ellsberg Paradoxarxiv.org
- Paradoxes and violations of normative decision theory Titlecalhoun.nps.edu
- Chapter 6 Alternatives to Expected Utility Theoryocw.mit.edu
- 13 Challenges to Expected Utilityjonathanweisberg.org
- Expected number of fixed points of permutation equals one - Grouppropsgroupprops.subwiki.org
- Expected Value and Linearity of Expectation - Probability for Quant Interviewsdatainterview.com
- MITOCWocw.mit.edu
- Combinatorics/Bounds for Ramsey numbers - Wikibooks, open books for an open worlden.wikibooks.org
- Upper bounds on diagonal Ramsey numbers [after Campos, Griffiths, Morris, and Sahasrabudhe]arxiv.org
- An exponential improvement for diagonal Ramseyarxiv.org
- Packing nearly optimal Ramsey R(3,t) graphsarxiv.org
- Examples in probability: Ramsey numbers and the prhomepages.inf.ed.ac.uk
- Randomized Algorithms Part Twoweb.stanford.edu
- Lecture 3 Probabilistic Analysis and Randomized Quicksort 3.1 Overviewcs.cmu.edu
- Randomized algorithmen.wikipedia.org
- Las Vegas algorithmen.wikipedia.org
- Lecture 10 Universal and Perfect Hashing 10.1 Overviewcs.cmu.edu
- GitHub - smilank3/hashing_with_chaining · GitHubgithub.com
- Universal Hash Function - an overviewsciencedirect.com
- Introduction to Randomness and Statisticsarxiv.org
- Unbiased Estimator - an overviewsciencedirect.com
- 7.2: Sample Variance - Statistics LibreTextsstats.libretexts.org
- Moment Estimator - an overviewsciencedirect.com
- Chapter 9 Method of Moments, Maximum Likelihood Estimator (Lecture on 01/28/2020)bookdown.org
- Method of Moments - GeeksforGeeksgeeksforgeeks.org
- The Bayesian Way: Uncertainty, Learning, and Statistical Reasoningarxiv.org
- Squared Error Loss Function - an overviewsciencedirect.com
- 1 Estimating the uncertainty attached to a sample mean: s2 ...web.stanford.edu
- 8 Estimation 8.1 Introductionarchive.math.arizona.edu
- Estimation of the variancestatlect.com
- Efficiency (statistics)en.wikipedia.org
- Bayesian Estimate - an overviewsciencedirect.com
- Predicting the generalization gap in neural networks using topological data analysisarxiv.org
- 2.4 Generalization Error and Empirical Risk Minimizationinformit.com
- Patterns, predictions, and actions: A story about machine learningarxiv.org
- Generalizationmlstory.org
- Alice's Adventures in a Differentiable Wonderland -- Volume I, A Tour of the Landarxiv.org
- Learn Risk Minimization: Expected vs Empirical Riskcodefinity.com
- Stochastic Gradient Descent: Theory, Numerical Examples, and Implementationekbanaml.github.io
- Understanding Stochastic Gradient Descent: Estimating the Gradient from a Samplestatology.org
- 2/27 16.1 Stochastic gradient descent 16.2 SGD for Risk ...web.stanford.edu
- Gradient Descent with Stochastic Subspaces via Persistence of Memoryarxiv.org
- A Distributional Perspective on Reinforcement Learningarxiv.org
- An Introduction to Deep Reinforcement and Imitation Learningarxiv.org
- Deep Reinforcement Learning: From First Principles to Reasoning Modelsarxiv.org
- Reinforcement Learning Part 4: Expected Return, Value Functions, and Bellman Equations - Shawn Hymelshawnhymel.com
- Foundations of quantum physics I. A critique of the traditionarxiv.org
- The Born Rule—100 Years Ago and Today - PMCpmc.ncbi.nlm.nih.gov
- Ehrenfest theoremen.wikipedia.org
- Measurement in quantum mechanicsen.wikipedia.org
- Unifying Quantum and Classical Dynamicsarxiv.org
- Ehrenfest's Theoremmaths.dur.ac.uk
- 17.3: The Average Ensemble Energy is Equal to the Observed Energy of a System - Chemistry LibreTextschem.libretexts.org
- Canonical Ensemble - an overviewsciencedirect.com
- Partition function (statistical mechanics)en.wikipedia.org