全变差是衡量累积变化的数学量,它将增加与减少的幅度一并计入,不让二者相互抵消。对于定义在区间上的函数,全变差是对所有有限分割求得的增量绝对值之和的上确界。对于符号测度或复测度,全变差是一个正测度,用于记录原测度的大小,而不考虑其符号或相位。在概率论中,全变差距离衡量两个概率分布对同一事件所赋概率的最大差异。
这些表述之间有着内在联系,而不仅仅是形式上的类比。有界变差函数的导数可以解释为一个测度,其变差测度的总质量恰好给出该函数的累积变化。在多维情形中,这一构造能够容纳沿曲面出现的间断,因此全变差在数学分析、涉及周长的几何问题以及偏微分方程中具有基础性作用。全变差能够惩罚振荡而不排除跳跃,这一特性也是成像和统计估计中保边方法的基础。
区间上函数的变差
设 f:[a,b]→R。对于分割
P:a=x0<x1<⋯<xn=b,
其变差和为
V(f;P)=i=1∑n∣f(xi)−f(xi−1)∣.
f 在该区间上的全变差定义为
Var[a,b](f)=PsupV(f;P),
其中上确界取遍所有有限分割。使用复数的模,这一定义也适用于复值函数;将差的绝对值替换为距离,则可推广到取值于度量空间的映射。如果这个上确界有限,就称该函数具有有界变差。
由三角不等式可知,细化分割不会使变差和减小。这使全变差有别于净变化量 f(b)−f(a):一次上升之后再下降相同的幅度,虽然净变化量为零,却仍会对全变差产生正的贡献。对于单调函数,
Var[a,b](f)=∣f(b)−f(a)∣.
对于 [0,2π] 上的 f(x)=sinx,虽然两个端点的函数值相同,其全变差却为 4。对于分段常值函数,只要在跳跃点指定的函数值没有引入额外的起伏,其变差就等于各次跳跃幅度之和。
全变差在相邻区间上具有可加性:
Var[a,b](f)=Var[a,c](f)+Var[c,b](f),a<c<b.
它还具有齐次性和次可加性:
Var(αf)=∣α∣Var(f),Var(f+g)≤Var(f)+Var(g).
因此,它是有界变差函数构成的向量空间上的一个半范数。常数函数的变差为零,因此要构造范数,还需要加入额外的信息,例如
∥f∥=∣f(a)∣+Var[a,b](f).
在此范数下,该空间是完备的。
这一经典理论与卡米耶·若尔当密切相关;他在 1881 年关于傅里叶级数的研究中引入了有界变差的概念。其核心结构性结论是若尔当分解:实值函数具有有界变差,当且仅当它可以表示为两个有界非递减函数之差。为说明其中的机制,令
v(x)=Var[a,x](f).
函数
p(x)=2v(x)+f(x)−f(a),n(x)=2v(x)−f(x)+f(a)
均为非递减函数,并且满足 f(x)=f(a)+p(x)−n(x)。因此,累积起伏有限,等价于能够将所有上升和下降的变化分别归入两个有限的单调分量。
微分、连续性与奇异变化
对于连续可微函数,全变差可用熟悉的微积分表达式表示:
Var[a,b](f)=∫ab∣f′(x)∣dx.
当 f 绝对连续时,同一等式也成立,其中的导数按几乎处处的意义理解,积分则理解为勒贝格积分。绝对连续性保证
f(x)=f(a)+∫axf′(t)dt,
因此,函数的所有变化都由其可积导数刻画。对于光滑曲线 γ:[a,b]→Rm,类似的表达式 ∫ab∥γ′(t)∥dt 给出了曲线的长度,说明变差如何推广了累积路径长度这一概念。
有界变差是比绝对连续严格更弱的条件。一维有界变差函数在每个内点都有有限的单侧极限,并且几乎处处可微。其导数属于 L1(a,b),但一般只能保证
∫ab∣f′(x)∣dx≤Var[a,b](f)
成立。阶梯函数的导数几乎处处为零,变差却为正。更微妙的例子是康托尔函数:它连续、单调不减,在 [0,1] 上的变差为 1,但导数几乎处处为零。它的变化集中在勒贝格测度为零的康托尔集上。因此,无论是连续性还是几乎处处可微性,都不能排除普通导数无法反映的变化。
适当选取代表元后,有界变差函数的广义导数可分解为三部分:
Df=f′L1+Djf+Dcf.
这里,L1 表示勒贝格测度,Djf 是承载跳跃的原子测度,Dcf 则与勒贝格测度奇异,但不含原子。在跳跃点 x 处,导数测度的质量为 f(x+)−f(x−),因此其变差计入的是 ∣f(x+)−f(x−)∣。这三个两两互相奇异的分量分别对全变差测度作出贡献。
必须区分逐点定义与测度论定义。改变函数在某一点的值,可能改变其基于分割定义的变差,却不会改变它在 Lp 空间中的等价类,也不会改变其分布导数。例如,一个函数仅在某个内点取值为 1,在其余各处均为 0,它的经典变差为 2,但它代表 L1 中的零元,而该零元的分布意义下的变差为零。在一维测度的构造中,通常使用右连续代表元。同样,在比较闭区间上的变差与仅定义在该区间内部的导数测度的质量时,也必须明确端点处的函数值。
符号测度、复测度与向量测度的变差
测度论中的定义延续了避免正负抵消的原则。设 μ 是可测空间 (X,F) 上的有限符号测度或复测度。它的全变差测度定义为
∣μ∣(A)={Ai}supi∑∣μ(Ai)∣,
其中,上确界取遍 A 的所有有限可测分割。尽管 μ 可以取负值或复数值,∣μ∣ 却是正测度。量
∥μ∥TV=∣μ∣(X)
是有限符号测度或复测度空间上的一个范数。由此得到的空间是一个巴拿赫空间。
对于符号测度,测度的若尔当分解给出
μ=μ+−μ−,∣μ∣=μ++μ−,
其中,μ+ 和 μ− 是分别集中在互不相交的可测区域上的正测度。例如,
μ=3δx−2δy,x=y,
的总质量为 μ(X)=1,而变差范数为 5。这里,δx 是位于 x 的狄拉克测度。带符号质量与变差测度的质量之间的区别,恰好对应于函数的净位移与累积变化之间的区别。
如果 μ 相对于正测度 λ 的密度为 h,那么
dμ=hdλ⟹d∣μ∣=∣h∣dλ.
更一般地,由拉东–尼科迪姆定理可得极分解表示
dμ=σd∣μ∣,∣σ∣=1∣μ∣-almost everywhere.
对于实值符号测度,σ 取值为 1 或 −1;对于复测度,它表示相位。关于 μ 的积分满足
∫Xgdμ≤∫X∣g∣d∣μ∣,
相应的对偶刻画为
∥μ∥TV=g measurable∣g∣≤1sup∫Xgdμ.
这些公式说明,在估计关于带符号数据的积分时,变差测度为何是自然的选择。
勒贝格–斯蒂尔切斯测度建立了测度与函数之间的联系。一个右连续的有界变差函数通过其增量确定一个符号测度:
μ((s,t])=f(t)−f(s).
在采用相容的端点约定时,其变差测度的质量等于相应函数的变差。将绝对值替换为选定的向量范数,即可把这一构造推广到有限维向量测度。其变差仍是正测度,而其极分解将该测度表示为一个取值为单位向量的密度与其变差测度的乘积。这种向量值情形是多维空间中梯度全变差的基础。
多维空间中的有界变差函数
在 Rd 中,不存在一个类似于区间分割的统一有序分割族。因此,标准的多维定义采用分布导数。对于开集 Ω⊂Rd 和 u∈L1(Ω),定义
∣Du∣(Ω)=sup{∫Ωudivφdx:φ∈Cc1(Ω;Rd), ∣φ(x)∣2≤1}.
有界变差函数空间 BV(Ω) 由使这一量有限的函数组成。测试向量场具有紧支集,这意味着该定义衡量的是 Ω 内部的变差,不会自动计入边界上的贡献。
BV 函数的分布梯度 Du 是一个有限的向量值拉东测度,∣Du∣ 则是它的全变差测度。如果 u 光滑,由分部积分法可得
∣Du∣(Ω)=∫Ω∣∇u(x)∣2dx,
其中 ∇u 是通常意义下的梯度。对于索伯列夫空间 W1,1(Ω) 中的 u,同一等式也成立。因此,W1,1(Ω)⊂BV(Ω),但这一包含关系通常是严格的:以光滑界面为分界的示性函数,其测度值梯度集中在该界面上,而不是具有可积密度的梯度。
对于标量值 BV 函数,其导数测度具有与一维情形类似的分解:
Du=∇uLd+Dju+Dcu.
跳跃分量可表示为
D^j u = (u^+-u^-)\nu_u\, \mathcal H^{d-1}\!\mathbin{\vrule height 1.4ex depth -0.3ex width 0.07ex\vrule height 0.07ex depth -0.02ex width 0.7ex}J_u,
其中,Ju 是近似跳跃集,u± 是其两侧的近似值,νu 是单位法向量,Hd−1 是豪斯多夫测度。特别地,
∣Dju∣(Ω)=∫Ju∣u+−u−∣dHd−1.
这个公式明确揭示了其几何意义:一次跳跃对全变差的贡献,等于跳跃幅度乘以承载该跳跃的界面面积。
标准范数为
∥u∥BV(Ω)=∥u∥L1(Ω)+∣Du∣(Ω).
第一项控制函数的整体大小,第二项则控制其空间变化。在定义中使用欧几里得范数是一个实质性的选择:它给出的是旋转不变的各向同性变差。若换用其他范数,就会得到各向异性变差,其代价取决于界面的朝向。这一区别在几何变分问题和数值近似中都很重要,因为沿坐标轴方向构造的差分可能引入方向偏好。
周长、水平集与紧性
全变差给出了周长的测度论定义。对于可测集 E⊂Rd,记其示性函数为 1E。它相对于开集 Ω 的周长为
P(E;Ω)=∣D1E∣(Ω).
周长有限的集合也称为卡乔波利集。若 E 的边界光滑,这一定义就与 ∂E∩Ω 的 (d−1) 维面积一致。与直接基于拓扑边界的定义不同,在勒贝格测度为零的集合上作修改不会改变这一定义下的周长。因此,它不会因对集合所作的可忽略修改而人为地增加周长。
对于一般的有限周长集,相关的边界是约化边界,即存在测度论意义下单位法向量的边界。周长就是这一边界的豪斯多夫测度:
P(E;Ω)=Hd−1(∂∗E∩Ω).
约化边界是可求长的,也就是说,除去一个可忽略集后,它可以由可数多个具有适当正则性的超曲面片覆盖。这些结果将周长纳入了几何测度论的框架;这一领域的现代发展在很大程度上得益于雷纳托·卡乔波利和恩尼奥·德乔尔吉的工作。
余面积公式将任意标量 BV 函数与其水平集联系起来:
∣Du∣(Ω)=∫−∞∞P({u>t};Ω)dt.
该公式表明,全变差是所有上水平集周长的累积。对于图像强度函数,这一公式将变差解释为各条等强度轮廓线长度的总和。它还意味着,BV 函数的几乎所有上水平集都具有有限周长。若函数跨过面积为 A 的界面,从 0 跃升至高度 h>0,则对于每个阈值 0<t<h,都会出现同一个界面,从而产生 hA 的变差。
两项分析性质使这一几何框架在变分法中发挥作用。首先,全变差关于 L1 收敛是下半连续的:
un→u in L1(Ω)⟹∣Du∣(Ω)≤n→∞liminf∣Dun∣(Ω).
其次,在有界利普希茨区域上,任何在 BV 范数下有界的序列,都有一个在 L1 中收敛的子序列。这两项性质共同支持通过对极小化序列取极限来证明极小值的存在性。不过,它们并不意味着变差值本身也收敛。一个更强的概念称为 BV 中的严格收敛,它要求既有 L1 收敛,又有全变差的收敛。在用光滑过渡层逼近尖锐界面,或对几何量取极限时,这一区别十分重要。
概率分布之间的全变差距离
对于同一可测空间上的概率测度 P 和 Q,全变差距离通常定义为
dTV(P,Q)=Asup∣P(A)−Q(A)∣.
它的取值介于 0 和 1 之间,衡量两个测度对单个事件赋予的概率所能产生的最大差异。用二者之差这一符号测度的变差测度来表示,有
dTV(P,Q)=21∣P−Q∣(X).
因子 1/2 的出现是因为 P−Q 的总质量为零,其正部与负部的质量相等。有些文献将 ∣P−Q∣(X) 称为全变差距离,因此涉及常数的公式取决于所采用的约定。
如果 P 和 Q 关于同一测度 λ 分别具有密度 p 和 q,则
dTV(P,Q)=21∫X∣p−q∣dλ=1−∫Xmin(p,q)dλ.
对于离散分布,积分变为求和。事件 A={p≥q} 可以达到这一上确界,等值集合上的取舍不影响结果。特别地,对于成功概率分别为 p 和 q 的伯努利分布,
dTV(Bern(p),Bern(q))=∣p−q∣.
只要选取 λ=P+Q,就总能在抽象意义下使用上述密度公式;并不要求存在关于勒贝格测度的概率密度函数。
另一种等价刻画使用有界可观测量:
dTV(P,Q)=21∣f∣≤1sup∣EPf−EQf∣=0≤f≤1sup∣EPf−EQf∣.
因此,全变差可以同时控制所有有界可测观测量的期望差异。如果 f 的取值位于 [m,M] 内,则
∣EPf−EQf∣≤(M−m)dTV(P,Q).
但它无法以同样的方式控制任意无界可观测量:如果极小的概率差异出现在足够大的取值处,就可能对期望值或方差产生很大影响。
全变差收敛强于概率测度的弱收敛。例如,δ1/n 弱收敛于 δ0,但对每个 n,它与 δ0 的全变差距离都为 1。类似地,无论样本量多大,具有有限支撑的经验分布与任意无原子分布之间的全变差距离都为 1。即使累积分布函数一致收敛,也未必意味着全变差收敛。全变差收敛之所以如此强,是因为定义中的上确界遍及所有可测事件,其中也包括能够分辨支撑集之间极其细微差异的集合。
假设检验、耦合与马尔可夫链的收敛
全变差在统计假设检验中有精确的解释。假设以相等的先验概率从 P 或 Q 中抽取一个观测值。非随机化检验在事件 A 发生时选择 P,否则选择 Q。其平均错误概率为
21P(Ac)+21Q(A)=21(1−P(A)+Q(A)).
对 A 进行优化可得
testsinfPr(error)=21−dTV(P,Q).
因此,距离为零意味着任何检验都不比随机猜测更好,而距离为一则意味着可以完全区分两种分布。允许使用随机化检验也无法改进这一最优值。
第二种解释借助耦合。P 与 Q 的一个耦合,是联合定义的一对随机变量 (X,Y),其边缘分布分别为 P 和 Q。任何耦合都满足
dTV(P,Q)≤Pr(X=Y),
因为同一事件的示性函数只有在两个随机变量取值不同时才可能取值不同。在标准博雷尔空间上,最大耦合可以使等号成立:
dTV(P,Q)=couplingsinfPr(X=Y).
其构造方法是以概率 1−dTV(P,Q) 按公共密度 min(p,q) 匹配两个变量的取值,再分别分配未匹配的概率质量。当分布可以通过彼此关联的随机机制生成时,这种解释尤其有用。
对于转移核为 K 的马尔可夫链,施加相同的转移不会增大距离:
dTV(PK,QK)≤dTV(P,Q).
事实上,对于任意事件 A,函数 x↦K(x,A) 的取值均在 [0,1] 内,因此可以应用基于有界可观测函数的刻画。若 π 是平稳分布,通常可用 dTV(Kn(x,⋅),π) 来量化向平衡态的收敛。对于有限、不可约且非周期的链,这一距离趋于零。耦合证明会构造两条链,一条从 x 出发,另一条从平衡态出发,并用两条链尚未相遇且此后保持同步的概率来控制其取值不同的概率。
全变差还通过散度之间的不等式与信息论相联系。采用自然对数时,平斯克不等式为
dTV(P,Q)≤21DKL(P∥Q),
其中 DKL 是KL散度。因此,相对熵较小意味着全变差也较小。反向的界在无附加条件时并不存在:即使全变差很小,相对熵也可能为无穷大,例如,P 赋予某个集合正的概率质量,而 Q 赋予该集合的概率质量为零。对于概率分布,全变差是对称的,且始终有限;相对熵则不对称,衡量的是差异的另一个方面。
正则化、成像与数值优化
通过列昂尼德·鲁丁、斯坦利·奥舍和埃马德·法特马于 1992 年提出的模型,全变差成为图像复原的核心工具。采用一种常见的归一化约定,他们的去噪问题为
u∈BV(Ω)∩L2(Ω)min{21∫Ω(u−f)2dx+λ∣Du∣(Ω)},λ>0,
其中,f 是观测图像。第一项惩罚与数据的偏离,第二项则通过抑制不必要的空间变化来实现正则化。在适当的有界区域上,下半连续性和紧性保证解的存在性,而二次保真项的严格凸性则保证解在几乎处处相等的意义下唯一。
全变差的边缘保持机制与二次梯度惩罚不同。假设高度为 h 的过渡分布在宽度为 ε 的薄层内。其单位界面面积上的全变差近似为
∫0εε∣h∣dx=∣h∣,
与薄层宽度无关。相比之下,
∫0ε(εh)2dx=εh2
会随着过渡变得陡峭而发散。因此,全变差能够以有限的代价保留间断。不过,它并不能无偏地保留所有特征:细小结构可能消失,对比度可能降低,平滑的渐变可能变成分段常数,这种伪影称为阶梯效应。
对于离散图像 u=(ui,j),两种常见的惩罚项是
TVaniso(u)=i,j∑(∣Dxui,j∣+∣Dyui,j∣)
和
TViso(u)=i,j∑(Dxui,j)2+(Dyui,j)2,
其中,Dx,Dy 是选定的有限差分算子。第一种惩罚项对各坐标方向的差分可分离,具有明显的方向偏好。第二种则通过欧几里得范数将水平和竖直分量结合起来,不过有限网格仍会引入离散化效应。边界处理规则、网格间距和求积权重都是数学模型的组成部分,而非无关紧要的实现细节。
由此得到的问题是凸的,但并不光滑,因此在梯度为零处无法采用通常的求导方法。其对偶形式由下式导出:
∣z∣2=∣p∣2≤1supp⋅z.
对于离散梯度算子 D,二次保真去噪模型变为
umin∣pi,j∣2≤λmax{21∥u−f∥22+⟨Du,p⟩}.
原始—对偶方法交替更新 u 和 p,并在更新 p 后将其投影到欧几里得球上。其他方法采用算子分裂、增广拉格朗日方法,或使用诸如 ∣Du∣2+ε2 的光滑化惩罚项。最后一种选择会改变原本非光滑的目标函数,并引入一个近似参数。
在一维情形下,相应的离散问题
u1,…,unmin{21i=1∑n(ui−yi)2+λi=1∑n−1∣ui+1−ui∣}
就是全变差去噪,它与融合套索密切相关。它促使相邻差分稀疏,而不是促使拟合值本身稀疏。因此,它适用于估计分段常数信号,以及定位时间序列中的变化。在加权图上,相应的惩罚项为 ∑(i,j)wij∣ui−uj∣,从而将同一原理推广到不具备规则空间网格的数据。
守恒定律与变差递减演化
总变差在守恒定律的分析中发挥着独特作用。一维空间中的标量守恒方程具有如下形式:
ut+∂xF(u)=0.
即使初始数据光滑,也可能产生间断,因为不同的 u 值以不同的特征速度传播。对于无黏 Burgers 方程,F(u)=u2/2,其特征速度为 u;波形中传播较快的部分可能追上传播较慢的部分,从而形成激波。此时,经典导数已不足以描述解,必须在弱解意义下理解解,并辅以熵条件,以选出物理上可容许的激波。
对于整条实线上的标量熵解,在适当的可积性和有限变差假设下,有
Var(u(⋅,t))≤Var(u(⋅,0)).
这一原理与 L1 压缩性及平移不变性有关。将压缩性应用于一个解及其空间平移,可以用相应的初始差值控制
∥u(⋅+h,t)−u(⋅,t)∥L1
。除以 ∣h∣ 并取平移量趋于零的极限,即可得到上述变差估计。这种控制可防止空间振荡无限制地增长,并为近似解序列提供紧性。对于守恒律方程组,类似结论需要更多的结构条件,不能直接从标量理论推出。
数值有限差分法所采用的格式通常力求满足一种相关性质,称为总变差递减,简称 TVD:
j∑∣uj+1n+1−ujn+1∣≤j∑∣uj+1n−ujn∣.
当时间步长与网格尺寸满足适当关系时,许多一阶单调格式都满足这样的估计。高阶方法使用非线性限制器,以减小激波附近的振荡,同时在光滑区域保持较高精度。TVD 要求针对的是不加限制的高阶重构所存在的一个特定问题:在间断附近产生非物理的过冲和欠冲。仅凭这一要求,既不能确立相容性,也不能选出熵解,更不能保证处处具有高阶精度。
总变差还可产生自身的平滑演化。形式上,∫∣∇u∣dx 的 L2 梯度流为
ut=div(∣∇u∣∇u).
该表达式在梯度为零处没有定义,因此严格的表述采用凸总变差泛函的次微分,而不是将方程中的算子视为普通的光滑微分算子。这与热方程形成对比,后者是二次梯度能量的梯度流。总变差流可以形成平坦区域,并使尖锐界面随时间演化。从余面积公式的角度理解,其行为与水平集的几何性质相联系,将累积变差在分析、几何和计算中的含义统一起来。