全变差距离用于衡量同一可测空间上两个概率分布之间的差异。它等于两个分布对同一事件赋予的概率之差的绝对值的最大值。其取值范围为零到一:两个分布相同时为零,分别集中在互不相交的可测集上时为一。全变差距离还可以从密度差、最优耦合,以及通过统计检验区分分布的能力等角度作出等价解释。
定义
设 P 和 Q 是可测空间 (Ω,F) 上的概率测度,其中 F 是由可测事件组成的σ代数。它们的全变差距离定义为
dTV(P,Q)=A∈Fsup∣P(A)−Q(A)∣.
因此,dTV(P,Q)≤ε 表示每个可测事件在 P 和 Q 下的概率之差均不超过 ε。
由于 P(Ω)=Q(Ω)=1,取补集会使概率差变号:
P(Ac)−Q(Ac)=−(P(A)−Q(A)).
所以,
dTV(P,Q)=A∈Fsup(P(A)−Q(A)).
因此,对于概率测度,带绝对值的定义与单侧定义是一致的。
归一化约定
在测度论中,符号测度 P−Q 的全变差范数通常记为
∥P−Q∥var=∣P−Q∣(Ω),
其中 ∣P−Q∣ 表示其变差测度。按照这一约定,
dTV(P,Q)=21∥P−Q∥var.
有些文献则用“全变差范数”或“全变差距离”指代采用不同归一化方式的量。因此,遇到使用这些术语的公式时,必须核查是否存在二倍因子的差异。
密度与概率质量函数公式
假设 P 和 Q 相对于某个共同的控制测度 μ 分别具有密度 p 和 q。则
dTV(P,Q)=21∫Ω∣p−q∣dμ.
这里的“密度”取拉东—尼科迪姆导数这一广义含义。共同的控制测度总是存在的:取 μ=P+Q 即可。因此,即使两个分布都没有相对于勒贝格测度的概率密度函数,该公式仍然适用。
要理解因子 1/2 为何出现,只需注意到
∫Ω(p−q)dμ=0.
因此,p−q 的正部与负部的积分相等。事件
A∗={x:p(x)>q(x)}
使上述上确界得以取到,并且
P(A∗)−Q(A∗)=∫Ω(p−q)+dμ=21∫Ω∣p−q∣dμ.
用重叠部分表示的等价公式为
dTV(P,Q)=1−∫Ωmin(p,q)dμ.
min(p,q) 的积分就是两个分布共有的概率质量。
离散分布
对于有限集或可数无限集 S 上的分布,若其概率质量函数分别为 p(x) 和 q(x),则
dTV(P,Q)=21x∈S∑∣p(x)−q(x)∣.
例如,设
P=(0.5,0.3,0.2),Q=(0.2,0.4,0.4).
则
dTV(P,Q)=21(0.3+0.1+0.2)=0.3.
仅由第一个结果组成的事件便能达到这一概率差。
对于成功概率分别为 p 和 q 的伯努利分布,
dTV(Bern(p),Bern(q))=∣p−q∣.
度量与期望的性质
固定可测空间上的概率测度全体在全变差距离下构成一个度量空间。具体而言,
0≤dTV(P,Q)≤1,
且 dTV(P,Q)=0 当且仅当 P=Q。它具有对称性,并满足三角不等式:
dTV(P,R)≤dTV(P,Q)+dTV(Q,R).
此外,dTV(P,Q)=1 当且仅当 P 与 Q 互相奇异,即存在可测集 A,使得 P(A)=1 且 Q(A)=0。
对偶刻画
全变差距离可以控制有界可测函数的期望值之差:
dTV(P,Q)=0≤f≤1sup∫fdP−∫fdQ.
等价地,
dTV(P,Q)=21∥f∥∞≤1sup∫fdP−∫fdQ.
这里的上确界遍取满足所述界限的可测函数。特别地,若 a≤f≤b,则
∣EPf−EQf∣≤(b−a)dTV(P,Q).
仅凭全变差距离,无法对任意无界函数得到相应的界。
处理下的收缩性
若 T 是可测函数,用 PT 和 QT 分别表示将 T 作用于来自 P 和 Q 的观测后所得的分布。则
dTV(PT,QT)≤dTV(P,Q).
更一般地,若 K 是马尔可夫核,即为每个输入指定一个输出分布的规则,则
dTV(PK,QK)≤dTV(P,Q).
因此,对两个分布施加相同的确定性变换或随机化程序,都不会增大它们的全变差距离。
耦合解释
P 和 Q 的一个耦合(概率论),是指一对共同定义的随机变量 (X,Y),其边缘分布分别为 P 和 Q。
对于任何使相等事件可测的耦合,都有
dTV(P,Q)≤Pr(X=Y).
事实上,对每个可测集 A,都有
∣P(A)−Q(A)∣=∣Pr(X∈A)−Pr(Y∈A)∣≤Pr(X=Y).
在标准博雷尔空间上,包括有限或可数空间,以及配备博雷尔集族的欧几里得空间,这个界可以达到:
dTV(P,Q)=couplings (X,Y)minPr(X=Y).
达到这一最小值的耦合称为最大耦合。它使 X 与 Y 相等的概率恰好等于重叠概率质量,即
Pr(X=Y)=∫min(p,q)dμ.
这一解释使全变差距离成为证明分布近似误差界的有用工具:只要构造出不相等概率较小的耦合,就能立即得到较小的全变差距离。
统计检验解释
考虑在以下两个简单假设之间进行统计假设检验:
H0:Z∼P,H1:Z∼Q.
随机化检验是一个可测函数 φ:Ω→[0,1],其中 φ(z) 表示观测到 z 后选择 H1 的概率。其第一类与第二类错误的概率分别为
α=EP[φ],β=EQ[1−φ].
两类错误概率之和的最小可能值为
φinf(α+β)=1−dTV(P,Q).
因此,如果两个假设的先验概率相等,最优的正确分类概率为
21+dTV(P,Q).
对于密度 p 和 q,一种最优规则是在 q>p 时选择 H1,而在两者相等时可任意处理。因此,全变差距离具有明确的操作意义:它衡量仅凭一次观测区分两个分布的能力。
收敛性及与其他距离的比较
当
dTV(Pn,P)⟶0.
时,称序列 Pn 依全变差收敛于 P。
这意味着事件概率在所有可测事件上一致收敛。等价地,期望值在所有取值于 [0,1] 的可测函数上一致收敛。
在配备博雷尔 σ代数的度量空间上,全变差收敛蕴含弱收敛,但反之不一定成立。例如,点质量测度满足
δ1/n⇒δ0,
然而,对每个 n,都有
dTV(δ1/n,δ0)=1
。全变差距离会区分点质量的确切位置,而不考虑这些位置有多么接近。
类似地,对于实数轴上的分布,全变差距离给出了其累积分布函数之差的界:
t∈Rsup∣FP(t)−FQ(t)∣≤dTV(P,Q).
左侧只考虑半直线,而全变差距离则考虑每一个可测集。
与相对熵的关系
KL散度通过平斯克不等式控制全变差距离:
dTV(P,Q)≤21DKL(P∥Q).
这一形式使用自然对数。因此,KL散度趋于零蕴含全变差收敛。
反向蕴含一般不成立。一个分布可能给某个区域赋予极小的概率,而另一个分布在该区域上的概率为零,从而使全变差距离很小,但KL散度为无穷大。
乘积分布
对于有限乘积,
dTV(i=1⨂nPi,i=1⨂nQi)≤1−i=1∏n(1−dTV(Pi,Qi))≤i=1∑ndTV(Pi,Qi).
特别地,
dTV(P⊗n,Q⊗n)≤min{1,ndTV(P,Q)}.
这些界有助于量化差异如何随着独立观测的增加而累积。
应用与局限
马尔可夫链的收敛
对于转移核为 K、平稳分布为 π 的马尔可夫链,一种标准的收敛性度量是
d(t)=xsupdTV(Kt(x,⋅),π).
容许误差为 ε 时的混合时间为
tmix(ε)=inf{t:d(t)≤ε}.
耦合方法通常通过构造两条链来给出这个量的界:一条从指定状态出发,另一条从平稳分布出发,让它们最终相遇,此后同步移动。这种方法在马尔可夫链蒙特卡洛的分析中十分重要。
分布近似
全变差距离广泛用于离散分布的近似,例如用泊松分布近似稀有事件示性变量之和。一个全变差距离界就能控制所有涉及被近似随机量的事件的概率误差。
全变差距离的约束很强,这也使它不适用于某些近似。离散分布与相对于勒贝格测度具有密度的分布互相奇异,因此二者的全变差距离为一。所以,离散随机变量之和经标准化后,可以像中心极限定理所描述的那样弱收敛于正态分布,却不依全变差收敛。
几何与估计
全变差距离取决于可测集,而不是单个结果之间的距离。即使将全部概率质量在几何位置上移动任意小的距离,全变差距离仍可能等于一。沃瑟斯坦距离等纳入底层几何结构的度量,所回答的是另一类问题。
这种区别也影响经验近似。若 P 是无原子概率测度,Pn 是有限次观测得到的经验分布,则
dTV(Pn,P)=1.
由样本点组成的有限集合,其经验概率为一,但在 P 下的概率为零。因此,经验平均值的收敛或经验分布的弱收敛,本身并不蕴含全变差收敛;还需要额外的结构,例如有限状态空间或适当的平滑处理。