aiwiki.page
中文
数学 / 概率与统计 / characteristic-function

特征函数

特征函数是一种复值变换,能唯一确定概率分布,并将独立随机变量之和转化为特征函数之积。

27 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
概率随机变量概率分布傅里叶变换期望值概率密度函数指示函数一致连续性特征函数

在概率论中,实值随机变量 XX 的特征函数是对每个实数 tt 定义的函数 φX(t)=E[eitX]\varphi_X(t)=\mathbb{E}[e^{itX}],其中 i2=−1i^2=-1。它包含了 XX 的整个概率分布的信息,始终存在,并能将独立随机变量之和转化为特征函数之积。作为概率测度的傅里叶变换的一种形式,特征函数将概率论与调和分析联系起来,是研究分布及其极限的重要工具。

定义与约定

设 XX 在 R\mathbb{R} 上的分布为 μ\mu,其特征函数定义为

φX(t)=E ⁣[eitX]=∫Reitx μ(dx),t∈R.\varphi_X(t) = \mathbb{E}\!\left[e^{itX}\right] = \int_{\mathbb{R}}e^{itx}\,\mu(dx), \qquad t\in\mathbb{R}.

这里,E\mathbb{E} 表示期望值。由欧拉公式,

φX(t)=E[cos⁡(tX)]+i E[sin⁡(tX)].\varphi_X(t) = \mathbb{E}[\cos(tX)] + i\,\mathbb{E}[\sin(tX)].

因此,特征函数的实部和虚部分别描述了该分布在频率 tt 下余弦分量和正弦分量的平均值。

如果 XX 具有概率密度函数 ff,则

φX(t)=∫−∞∞eitxf(x) dx.\varphi_X(t) = \int_{-\infty}^{\infty}e^{itx}f(x)\,dx.

如果 XX 服从取值为 xkx_k 的离散分布,则

φX(t)=∑keitxkPr⁡(X=xk).\varphi_X(t) = \sum_k e^{itx_k}\Pr(X=x_k).

基于测度的定义也涵盖既非离散分布、又不能用密度描述的分布。

傅里叶变换的不同约定在指数的正负号以及 2π2\pi 因子的使用上有所区别。这里采用概率论中的标准约定:正变换使用 eitxe^{itx},逆变换使用 e−itxe^{-itx}。

在数学的其他领域,“characteristic function”也可以指集合的示性函数。这一用法与概率论中的特征函数含义不同。

存在性与基本性质

由于

∣eitX∣=1,|e^{itX}|=1,

对于任意概率分布和任意实数 tt,定义特征函数的期望都存在。不要求均值、方差或更高阶矩有限。

每个特征函数都满足:

  • 归一性: φX(0)=1\varphi_X(0)=1。
  • 有界性: ∣φX(t)∣≤1|\varphi_X(t)|\leq 1。
  • 共轭对称性: φX(−t)=φX(t)‾\varphi_X(-t)=\overline{\varphi_X(t)}。
  • 一致连续性: φX\varphi_X 在 R\mathbb{R} 上具有一致连续性。

例如,一致连续性可由下式得到:

∣φX(t+h)−φX(t)∣≤E ⁣[∣eihX−1∣].|\varphi_X(t+h)-\varphi_X(t)| \leq \mathbb{E}\!\left[|e^{ihX}-1|\right].

右端与 tt 无关,并且根据控制收敛定理,当 h→0h\to0 时趋于零。

如果 XX 的分布关于零对称,则其特征函数是实值偶函数。反过来,实值特征函数所对应的分布关于零对称。

对于实常数 aa 和 bb,有

φaX+b(t)=eitbφX(at).\varphi_{aX+b}(t) = e^{itb}\varphi_X(at).

因此,平移会引入一个相位因子,而缩放会改变频率自变量。

独立和与卷积

如果 XX 与 YY 具有统计独立性,则

φX+Y(t)=E[eitXeitY]=φX(t)φY(t).\varphi_{X+Y}(t) = \mathbb{E}[e^{itX}e^{itY}] = \varphi_X(t)\varphi_Y(t).

更一般地,对于相互独立的随机变量 X1,…,XnX_1,\ldots,X_n,有

φX1+⋯+Xn(t)=∏j=1nφXj(t).\varphi_{X_1+\cdots+X_n}(t) = \prod_{j=1}^{n}\varphi_{X_j}(t).

独立随机变量之和的分布,是各自分布的卷积。特征函数将这一可能涉及复杂积分或求和的运算转化为普通乘法。

对于独立同分布的随机变量,有

φX1+⋯+Xn(t)=φX(t)n.\varphi_{X_1+\cdots+X_n}(t) = \varphi_X(t)^n.

这一恒等式是研究多项求和、随机游走和极限定理的基础。没有独立性时,这种乘积分解通常不成立。

示例

常值随机变量

如果 X=cX=c 以概率一成立,则

φX(t)=eitc.\varphi_X(t)=e^{itc}.

特别地,集中在零点的单位点质量的特征函数恒等于 11。

伯努利分布

对于满足 Pr⁡(X=1)=p\Pr(X=1)=p 和 Pr⁡(X=0)=1−p\Pr(X=0)=1-p 的伯努利分布,有

φX(t)=1−p+peit.\varphi_X(t)=1-p+pe^{it}.

因此,将 nn 个独立伯努利随机变量相加得到的参数为 nn 和 pp 的二项分布,其特征函数为

φX(t)=(1−p+peit)n.\varphi_X(t)=(1-p+pe^{it})^n.

正态分布

对于均值为 μ\mu、方差为 σ2\sigma^2 的正态分布,有

φX(t)=exp⁡ ⁣(iμt−σ2t22).\varphi_X(t) = \exp\!\left(i\mu t-\frac{\sigma^2t^2}{2}\right).

将这些特征函数相乘,可以直接看出:独立正态随机变量之和仍服从正态分布,其均值和方差分别为各变量均值之和与方差之和。

泊松分布

对于参数为 λ\lambda 的泊松分布,有

φX(t)=exp⁡ ⁣(λ(eit−1)).\varphi_X(t) = \exp\!\left(\lambda(e^{it}-1)\right).

由乘积公式可立即得出:独立泊松随机变量之和仍服从泊松分布,其参数为各变量参数之和。

柯西分布

对于位置参数为 x0x_0、尺度参数为 γ>0\gamma>0 的柯西分布,有

φX(t)=exp⁡ ⁣(ix0t−γ∣t∣).\varphi_X(t) = \exp\!\left(ix_0t-\gamma|t|\right).

柯西分布既没有有限均值,也没有有限方差,但其特征函数仍有明确定义。它在零点不可微,这体现了特征函数的光滑性与矩的存在性之间的联系。

唯一性与反演

唯一性定理

特征函数唯一确定分布:

φX(t)=φY(t)for every t∈R⟺X and Y have the same distribution.\varphi_X(t)=\varphi_Y(t) \quad\text{for every }t\in\mathbb{R} \quad\Longleftrightarrow\quad X\text{ and }Y\text{ have the same distribution}.

同分布并不意味着 XX 和 YY 作为同一概率空间上的随机变量相等,而是指它们赋予 R\mathbb{R} 的各个可测子集相同的概率。

凭借唯一性,可以利用特征函数识别分布,而无须直接计算密度或分布函数。

恢复密度

如果特征函数绝对可积,即

∫R∣φX(t)∣ dt<∞,\int_{\mathbb{R}}|\varphi_X(t)|\,dt<\infty,

则该分布具有有界连续密度,且密度由下式给出:

fX(x)=12π∫−∞∞e−itxφX(t) dt.f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx}\varphi_X(t)\,dt.

绝对可积性是这种反演形式成立的充分条件,而不是分布具有密度的必要条件。

恢复区间概率

更一般的反演公式不需要假设密度存在。如果 a<ba<b 是累积分布函数 FF 的连续点,则

F(b)−F(a)=lim⁡T→∞12π∫−TTe−ita−e−itbitφX(t) dt.F(b)-F(a) = \lim_{T\to\infty} \frac{1}{2\pi} \int_{-T}^{T} \frac{e^{-ita}-e^{-itb}}{it} \varphi_X(t)\,dt.

在 t=0t=0 处,商式的值按连续延拓定义。当端点具有正概率质量时,相应的一般公式会将端点处的概率质量计入一半。

矩与导数

如果 E[∣X∣n]<∞\mathbb{E}[|X|^n]<\infty,则在期望符号内求导可得

φX(k)(t)=E ⁣[(iX)keitX],1≤k≤n.\varphi_X^{(k)}(t) = \mathbb{E}\!\left[(iX)^k e^{itX}\right], \qquad 1\leq k\leq n.

在零点处,

φX(k)(0)=ikE[Xk].\varphi_X^{(k)}(0) = i^k\mathbb{E}[X^k].

特别地,

E[X]=φX′(0)i,E[X2]=−φX′′(0),\mathbb{E}[X]=\frac{\varphi_X'(0)}{i}, \qquad \mathbb{E}[X^2]=-\varphi_X''(0),

前提是相应的绝对矩有限。因此,方差为

Var⁡(X)=−φX′′(0)−(φX′(0)i)2.\operatorname{Var}(X) = -\varphi_X''(0) - \left(\frac{\varphi_X'(0)}{i}\right)^2.

逆向推断时需要谨慎。零点处存在某个偶数阶导数,意味着相应的偶数阶矩有限;但仅有奇数阶导数存在,并不一定意味着相应的绝对矩有限。

即使所有阶矩都存在,形式级数

∑n=0∞(it)nn!E[Xn]\sum_{n=0}^{\infty} \frac{(it)^n}{n!}\mathbb{E}[X^n]

也未必收敛到特征函数。光滑性本身并不蕴含解析性,而且不同分布可能具有完全相同的各阶矩,却具有不同的特征函数。

与其他变换的关系

矩生成函数定义为

MX(s)=E[esX],M_X(s)=\mathbb{E}[e^{sX}],

其定义域为使该期望有限的那些取值。与特征函数不同,矩生成函数可能在零点的任何邻域内都无法处处取有限值。

当复指数变换在适当的定义域上有定义时,两者都可以视为该变换的限制。非严格写法 φX(t)=MX(it)\varphi_X(t)=M_X(it) 需要这样的复数域延拓;仅在实数自变量上定义 MXM_X,并不能自动保证这一写法成立。

对于非负随机变量,其分布的拉普拉斯变换为

LX(s)=E[e−sX],s≥0.L_X(s)=\mathbb{E}[e^{-sX}], \qquad s\geq0.

每种变换侧重于不同的解析性质。特征函数的独特优势在于:它对每个概率分布都存在。

收敛与极限定理

莱维连续性定理将特征函数与依分布收敛联系起来。

如果 XnX_n 依分布收敛于 XX,则对每个实数 tt,有

φXn(t)⟶φX(t)\varphi_{X_n}(t)\longrightarrow\varphi_X(t)

成立。

反过来,如果 φXn(t)\varphi_{X_n}(t) 逐点收敛于某个在零点连续的函数 φ(t)\varphi(t),则 φ\varphi 是一个特征函数,且相应的分布收敛于它所对应的分布。零点处的连续性至关重要:不具备这一性质的逐点极限未必对应任何概率分布。

中心极限定理

特征函数给出了中心极限定理的一种标准证明。设 X1,X2,…X_1,X_2,\ldots 独立同分布,均值为 μ\mu,方差为有限的正数 σ2\sigma^2。令

Z=X1−μσ.Z=\frac{X_1-\mu}{\sigma}.

由二阶矩有限可得局部展开式

φZ(u)=1−u22+o(u2)(u→0).\varphi_Z(u)=1-\frac{u^2}{2}+o(u^2) \qquad (u\to0).

对于标准化后的和

Sn=∑j=1nXj−nμσn,S_n= \frac{\sum_{j=1}^{n}X_j-n\mu}{\sigma\sqrt n},

由独立性可得

φSn(t)=[φZ ⁣(tn)]n⟶e−t2/2.\varphi_{S_n}(t) = \left[\varphi_Z\!\left(\frac{t}{\sqrt n}\right)\right]^n \longrightarrow e^{-t^2/2}.

极限是标准正态分布的特征函数,再由连续性定理即可得到依分布收敛。

哪些函数是特征函数?

仅凭归一性、有界性和连续性,还不足以刻画特征函数。

如果对任意有限选取的 t1,…,tm∈Rt_1,\ldots,t_m\in\mathbb{R} 和 c1,…,cm∈Cc_1,\ldots,c_m\in\mathbb{C},都有

∑j=1m∑k=1mcjck‾ φ(tj−tk)≥0.\sum_{j=1}^{m}\sum_{k=1}^{m} c_j\overline{c_k}\, \varphi(t_j-t_k) \geq0.

则称函数 φ:R→C\varphi:\mathbb{R}\to\mathbb{C} 是正定的。

对于特征函数,这一性质可由下式得到:

∑j,kcjck‾φX(tj−tk)=E ⁣[∣∑jcjeitjX∣2].\sum_{j,k}c_j\overline{c_k}\varphi_X(t_j-t_k) = \mathbb{E}\!\left[ \left|\sum_j c_j e^{it_jX}\right|^2 \right].

博赫纳定理指出,R\mathbb{R} 上满足 φ(0)=1\varphi(0)=1 的连续正定函数,是某个概率测度的特征函数。这给出了一种内在刻画,无须事先指定随机变量。

多元特征函数

对于随机向量 X∈RdX\in\mathbb{R}^d,特征函数为

φX(t)=E ⁣[eitTX],t∈Rd.\varphi_X(t) = \mathbb{E}\!\left[e^{it^{\mathsf T}X}\right], \qquad t\in\mathbb{R}^d.

它唯一确定联合概率分布。每个标量投影 aTXa^{\mathsf T}X 的特征函数为

φaTX(u)=φX(ua).\varphi_{a^{\mathsf T}X}(u)=\varphi_X(ua).

因此,所有标量投影的分布可以确定联合分布。

分量 X1,…,XdX_1,\ldots,X_d 相互独立,当且仅当

φX(t1,…,td)=∏j=1dφXj(tj)\varphi_X(t_1,\ldots,t_d) = \prod_{j=1}^{d}\varphi_{X_j}(t_j)

对所有 tt 成立。

对于均值向量为 μ\mu、协方差矩阵为 Σ\Sigma 的多元正态分布,有

φX(t)=exp⁡ ⁣(itTμ−12tTΣt).\varphi_X(t) = \exp\!\left( it^{\mathsf T}\mu-\frac12 t^{\mathsf T}\Sigma t \right).

当 Σ\Sigma 为奇异矩阵时,这一公式仍然成立。

统计与计算应用

给定来自同一分布的独立观测值 X1,…,XnX_1,\ldots,X_n,经验特征函数定义为

φ^n(t)=1n∑j=1neitXj.\widehat{\varphi}_n(t) = \frac1n\sum_{j=1}^{n}e^{itX_j}.

对于每个固定的 tt,它是 φX(t)\varphi_X(t) 的无偏估计量,并且由大数定律,它几乎必然收敛于 φX(t)\varphi_X(t)。它本身也是一个特征函数,对应于在每个观测值处赋予 1/n1/n 概率质量的经验分布。

经验特征函数可用于参数估计、拟合优度检验和独立性检验。当模型的特征函数形式简单,而密度难以求得或没有可用表达式时,它们尤其有用。

数值傅里叶反演可以恢复近似密度或概率,有时会使用快速傅里叶变换。实际计算的局限包括频率范围截断、离散化误差、振荡积分以及可能出现的混叠。虽然特征函数在数学上能唯一确定分布,但仅凭有限个含噪声的变换值,可能很难准确恢复该分布。