伯努利分布是一种离散概率分布,用于描述只取 0 和 1 两个值的随机变量。它只有一个参数 ,表示观测到 1 的概率;观测到 0 的概率则为 。它描述单次二元观测,例如硬币是否正面朝上,或某个零件是否通过检验。通常用“成功”和“失败”分别表示 1 和 0,但这并不意味着其中某个结果更值得期待。(online.stat.psu.edu)
定义与表示
记 ,其中 ,其概率质量函数为
当 时,可以简写为
当 时,该变量必然等于 0;当 时,它必然等于 1。这两种情形都是同一分布族的退化情形。(online.stat.psu.edu)
伯努利变量也可以表示事件 是否发生。事件 的指示随机变量 在 发生时等于 1,否则等于 0,因此其参数为 。所考察的试验不必只有两个基本结果:掷一枚骰子并记录点数是否为六,得到的就是一个伯努利变量,尽管骰子本身有六种可能的结果。(probabilitycourse.com)
均值、方差与不确定性
由于 ,二阶矩也等于 ,由此可直接得到方差为 。因此,标准差为 。方差在 时达到最大值 ,在两个端点处均为零。与许多分布族不同,伯努利分布的均值与方差不能独立选定。这些性质都可以直接从其概率质量函数推导出来。(online.stat.psu.edu)
其中,根据连续性,将 定义为 0。当结果确定时,熵为零;当两个结果等概率时,熵达到一个比特。它衡量的是观测结果的不确定性,而不是对所估计参数的不确定性。(web.stanford.edu)
重复观测与二项分布
若 是相互独立且具有相同参数 的伯努利变量,则它们的和
服从参数为 和 的二项分布。因此,伯努利分布是二项分布在试验次数为一次时的特例。两者的区别在于:前者记录单次试验的结果,后者统计多次试验中的成功次数。(online.stat.psu.edu)
这一结论既要求统计独立性,也要求各次试验的成功概率相同。各个二元观测可以分别服从伯努利分布,但它们的和未必服从上述二项分布:观测之间可能相互依赖,或者成功概率可能不同。仅知道各观测的边缘分布是伯努利分布,并不能确定观测之间的关系。(online.stat.psu.edu)
对于具有共同参数 的独立观测,样本比例 的均值为 ,方差为 。中心极限定理说明了为何在 的条件下,随着样本量增加,其抽样分布会趋近于正态分布。这里讨论的是汇总统计量,而不是单个二元观测的分布。(online.stat.psu.edu)
参数估计
在统计学中,假设 次独立观测中有 次成功。对于所观测到的序列,似然函数为
其对数为
通过最大似然估计可得
即观测到的成功比例。当两种结果都出现时,对对数似然函数求导并求其最大值,即可得到这一结果。如果所有观测值均为 0 或均为 1,则最大值位于相应的端点。(stat135.berkeley.edu)
在贝叶斯推断中,贝塔分布是 的共轭先验。若先验分布为 ,则观测到 次成功和 次失败后,得到的后验分布为
这里,伯努利分布描述给定 时观测值的条件分布,而贝塔分布描述对 本身的不确定性。(bayesball.github.io)
二元预测模型
在机器学习中,逻辑回归对给定解释变量时的二元响应建立条件模型:
因此,不同观测的概率可以不同,但每个响应的条件分布仍然是伯努利分布。这是一种二元响应的广义线性模型。(web.stanford.edu)
对于观测标签 和预测概率 ,负对数似然为
这就是二元交叉熵,可用作损失函数。它评估的是概率预测,而不只是根据阈值判定的分类是否正确:如果给实际发生的结果赋予极低的概率,就会产生很大的损失。(cs229.stanford.edu)
参考来源
- online.stat.psu.edu/stat504/Lesson01online.stat.psu.edu
- probabilitycourse.com/chapter3/3_1_5_special_discrete_distr.phpprobabilitycourse.com
- web.stanford.edu/~montanar/RESEARCH/BOOK/partA.pdfweb.stanford.edu
- online.stat.psu.edu/stat500/Lesson04online.stat.psu.edu
- stat135.berkeley.edu/spring-2026/lectures/lecture-10.htmlstat135.berkeley.edu
- bayesball.github.io/BOOK/proportionbayesball.github.io
- web.stanford.edu/class/stats305b/notes/Logistic_I.htmlweb.stanford.edu
- cs229.stanford.edu/lectures-spring2022/main_notes.pdfcs229.stanford.edu