在概率 论中,实值随机变量 X X X 的特征函数 是对每个实数 t t t 定义的函数 φ X ( t ) = E [ e i t X ] \varphi_X(t)=\mathbb{E}[e^{itX}] φ X ( t ) = E [ e i tX ] ,其中 i 2 = − 1 i^2=-1 i 2 = − 1 。它包含了 X X X 的整个概率分布 的信息,始终存在,并能将独立随机变量之和转化为特征函数之积。作为概率测度的傅里叶变换 的一种形式,特征函数将概率论与调和分析联系起来,是研究分布及其极限的重要工具。
定义与约定 设 X X X 在 R \mathbb{R} R 上的分布为 μ \mu μ ,其特征函数定义为
φ X ( t ) = E [ e i t X ] = ∫ R e i t x μ ( d x ) , t ∈ R . \varphi_X(t) = \mathbb{E}\!\left[e^{itX}\right] = \int_{\mathbb{R}}e^{itx}\,\mu(dx), \qquad t\in\mathbb{R}. φ X ( t ) = E [ e i tX ] = ∫ R e i t x μ ( d x ) , t ∈ R .
这里,E \mathbb{E} E 表示期望值 。由欧拉公式,
φ X ( t ) = E [ cos ( t X ) ] + i E [ sin ( t X ) ] . \varphi_X(t) = \mathbb{E}[\cos(tX)] + i\,\mathbb{E}[\sin(tX)]. φ X ( t ) = E [ cos ( tX )] + i E [ sin ( tX )] .
因此,特征函数的实部和虚部分别描述了该分布在频率 t t t 下余弦分量和正弦分量的平均值。
如果 X X X 具有概率密度函数 f f f ,则
φ X ( t ) = ∫ − ∞ ∞ e i t x f ( x ) d x . \varphi_X(t) = \int_{-\infty}^{\infty}e^{itx}f(x)\,dx. φ X ( t ) = ∫ − ∞ ∞ e i t x f ( x ) d x .
如果 X X X 服从取值为 x k x_k x k 的离散分布,则
φ X ( t ) = ∑ k e i t x k Pr ( X = x k ) . \varphi_X(t) = \sum_k e^{itx_k}\Pr(X=x_k). φ X ( t ) = k ∑ e i t x k Pr ( X = x k ) .
基于测度的定义也涵盖既非离散分布、又不能用密度描述的分布。
傅里叶变换的不同约定在指数的正负号以及 2 π 2\pi 2 π 因子的使用上有所区别。这里采用概率论中的标准约定:正变换使用 e i t x e^{itx} e i t x ,逆变换使用 e − i t x e^{-itx} e − i t x 。
在数学的其他领域,“characteristic function”也可以指集合的示性函数 。这一用法与概率论中的特征函数含义不同。
存在性与基本性质 由于
∣ e i t X ∣ = 1 , |e^{itX}|=1, ∣ e i tX ∣ = 1 ,
对于任意概率分布和任意实数 t t t ,定义特征函数的期望都存在。不要求均值、方差或更高阶矩有限。
每个特征函数都满足:
归一性: φ X ( 0 ) = 1 \varphi_X(0)=1 φ X ( 0 ) = 1 。
有界性: ∣ φ X ( t ) ∣ ≤ 1 |\varphi_X(t)|\leq 1 ∣ φ X ( t ) ∣ ≤ 1 。
共轭对称性: φ X ( − t ) = φ X ( t ) ‾ \varphi_X(-t)=\overline{\varphi_X(t)} φ X ( − t ) = φ X ( t ) 。
一致连续性: φ X \varphi_X φ X 在 R \mathbb{R} R 上具有一致连续性 。
例如,一致连续性可由下式得到:
∣ φ X ( t + h ) − φ X ( t ) ∣ ≤ E [ ∣ e i h X − 1 ∣ ] . |\varphi_X(t+h)-\varphi_X(t)| \leq \mathbb{E}\!\left[|e^{ihX}-1|\right]. ∣ φ X ( t + h ) − φ X ( t ) ∣ ≤ E [ ∣ e ih X − 1∣ ] .
右端与 t t t 无关,并且根据控制收敛定理 ,当 h → 0 h\to0 h → 0 时趋于零。
如果 X X X 的分布关于零对称,则其特征函数是实值偶函数。反过来,实值特征函数所对应的分布关于零对称。
对于实常数 a a a 和 b b b ,有
φ a X + b ( t ) = e i t b φ X ( a t ) . \varphi_{aX+b}(t) = e^{itb}\varphi_X(at). φ a X + b ( t ) = e i t b φ X ( a t ) .
因此,平移会引入一个相位因子,而缩放会改变频率自变量。
独立和与卷积 如果 X X X 与 Y Y Y 具有统计独立性 ,则
φ X + Y ( t ) = E [ e i t X e i t Y ] = φ X ( t ) φ Y ( t ) . \varphi_{X+Y}(t) = \mathbb{E}[e^{itX}e^{itY}] = \varphi_X(t)\varphi_Y(t). φ X + Y ( t ) = E [ e i tX e i t Y ] = φ X ( t ) φ Y ( t ) .
更一般地,对于相互独立的随机变量 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n ,有
φ X 1 + ⋯ + X n ( t ) = ∏ j = 1 n φ X j ( t ) . \varphi_{X_1+\cdots+X_n}(t) = \prod_{j=1}^{n}\varphi_{X_j}(t). φ X 1 + ⋯ + X n ( t ) = j = 1 ∏ n φ X j ( t ) .
独立随机变量之和的分布,是各自分布的卷积 。特征函数将这一可能涉及复杂积分或求和的运算转化为普通乘法。
对于独立同分布的随机变量,有
φ X 1 + ⋯ + X n ( t ) = φ X ( t ) n . \varphi_{X_1+\cdots+X_n}(t) = \varphi_X(t)^n. φ X 1 + ⋯ + X n ( t ) = φ X ( t ) n .
这一恒等式是研究多项求和、随机游走和极限定理的基础。没有独立性时,这种乘积分解通常不成立。
示例 常值随机变量
如果 X = c X=c X = c 以概率一成立,则
φ X ( t ) = e i t c . \varphi_X(t)=e^{itc}. φ X ( t ) = e i t c .
特别地,集中在零点的单位点质量的特征函数恒等于 1 1 1 。
伯努利分布
对于满足 Pr ( X = 1 ) = p \Pr(X=1)=p Pr ( X = 1 ) = p 和 Pr ( X = 0 ) = 1 − p \Pr(X=0)=1-p Pr ( X = 0 ) = 1 − p 的伯努利分布 ,有
φ X ( t ) = 1 − p + p e i t . \varphi_X(t)=1-p+pe^{it}. φ X ( t ) = 1 − p + p e i t .
因此,将 n n n 个独立伯努利随机变量相加得到的参数为 n n n 和 p p p 的二项分布,其特征函数为
φ X ( t ) = ( 1 − p + p e i t ) n . \varphi_X(t)=(1-p+pe^{it})^n. φ X ( t ) = ( 1 − p + p e i t ) n .
正态分布
对于均值为 μ \mu μ 、方差为 σ 2 \sigma^2 σ 2 的正态分布 ,有
φ X ( t ) = exp ( i μ t − σ 2 t 2 2 ) . \varphi_X(t) = \exp\!\left(i\mu t-\frac{\sigma^2t^2}{2}\right). φ X ( t ) = exp ( i μ t − 2 σ 2 t 2 ) .
将这些特征函数相乘,可以直接看出:独立正态随机变量之和仍服从正态分布,其均值和方差分别为各变量均值之和与方差之和。
泊松分布
对于参数为 λ \lambda λ 的泊松分布 ,有
φ X ( t ) = exp ( λ ( e i t − 1 ) ) . \varphi_X(t) = \exp\!\left(\lambda(e^{it}-1)\right). φ X ( t ) = exp ( λ ( e i t − 1 ) ) .
由乘积公式可立即得出:独立泊松随机变量之和仍服从泊松分布,其参数为各变量参数之和。
柯西分布
对于位置参数为 x 0 x_0 x 0 、尺度参数为 γ > 0 \gamma>0 γ > 0 的柯西分布 ,有
φ X ( t ) = exp ( i x 0 t − γ ∣ t ∣ ) . \varphi_X(t) = \exp\!\left(ix_0t-\gamma|t|\right). φ X ( t ) = exp ( i x 0 t − γ ∣ t ∣ ) .
柯西分布既没有有限均值,也没有有限方差,但其特征函数仍有明确定义。它在零点不可微,这体现了特征函数的光滑性与矩的存在性之间的联系。
唯一性与反演 唯一性定理
特征函数唯一确定分布:
φ X ( t ) = φ Y ( t ) for every t ∈ R ⟺ X and Y have the same distribution . \varphi_X(t)=\varphi_Y(t) \quad\text{for every }t\in\mathbb{R} \quad\Longleftrightarrow\quad X\text{ and }Y\text{ have the same distribution}. φ X ( t ) = φ Y ( t ) for every t ∈ R ⟺ X and Y have the same distribution .
同分布并不意味着 X X X 和 Y Y Y 作为同一概率空间上的随机变量相等,而是指它们赋予 R \mathbb{R} R 的各个可测子集相同的概率。
凭借唯一性,可以利用特征函数识别分布,而无须直接计算密度或分布函数。
恢复密度
如果特征函数绝对可积,即
∫ R ∣ φ X ( t ) ∣ d t < ∞ , \int_{\mathbb{R}}|\varphi_X(t)|\,dt<\infty, ∫ R ∣ φ X ( t ) ∣ d t < ∞ ,
则该分布具有有界连续密度,且密度由下式给出:
f X ( x ) = 1 2 π ∫ − ∞ ∞ e − i t x φ X ( t ) d t . f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx}\varphi_X(t)\,dt. f X ( x ) = 2 π 1 ∫ − ∞ ∞ e − i t x φ X ( t ) d t .
绝对可积性是这种反演形式成立的充分条件,而不是分布具有密度的必要条件。
恢复区间概率
更一般的反演公式不需要假设密度存在。如果 a < b a<b a < b 是累积分布函数 F F F 的连续点,则
F ( b ) − F ( a ) = lim T → ∞ 1 2 π ∫ − T T e − i t a − e − i t b i t φ X ( t ) d t . F(b)-F(a) = \lim_{T\to\infty} \frac{1}{2\pi} \int_{-T}^{T} \frac{e^{-ita}-e^{-itb}}{it} \varphi_X(t)\,dt. F ( b ) − F ( a ) = T → ∞ lim 2 π 1 ∫ − T T i t e − i t a − e − i t b φ X ( t ) d t .
在 t = 0 t=0 t = 0 处,商式的值按连续延拓定义。当端点具有正概率质量时,相应的一般公式会将端点处的概率质量计入一半。
矩与导数 如果 E [ ∣ X ∣ n ] < ∞ \mathbb{E}[|X|^n]<\infty E [ ∣ X ∣ n ] < ∞ ,则在期望符号内求导可得
φ X ( k ) ( t ) = E [ ( i X ) k e i t X ] , 1 ≤ k ≤ n . \varphi_X^{(k)}(t) = \mathbb{E}\!\left[(iX)^k e^{itX}\right], \qquad 1\leq k\leq n. φ X ( k ) ( t ) = E [ ( i X ) k e i tX ] , 1 ≤ k ≤ n .
在零点处,
φ X ( k ) ( 0 ) = i k E [ X k ] . \varphi_X^{(k)}(0) = i^k\mathbb{E}[X^k]. φ X ( k ) ( 0 ) = i k E [ X k ] .
特别地,
E [ X ] = φ X ′ ( 0 ) i , E [ X 2 ] = − φ X ′ ′ ( 0 ) , \mathbb{E}[X]=\frac{\varphi_X'(0)}{i}, \qquad \mathbb{E}[X^2]=-\varphi_X''(0), E [ X ] = i φ X ′ ( 0 ) , E [ X 2 ] = − φ X ′′ ( 0 ) ,
前提是相应的绝对矩有限。因此,方差 为
Var ( X ) = − φ X ′ ′ ( 0 ) − ( φ X ′ ( 0 ) i ) 2 . \operatorname{Var}(X) = -\varphi_X''(0) - \left(\frac{\varphi_X'(0)}{i}\right)^2. Var ( X ) = − φ X ′′ ( 0 ) − ( i φ X ′ ( 0 ) ) 2 .
逆向推断时需要谨慎。零点处存在某个偶数阶导数,意味着相应的偶数阶矩有限;但仅有奇数阶导数存在,并不一定意味着相应的绝对矩有限。
即使所有阶矩都存在,形式级数
∑ n = 0 ∞ ( i t ) n n ! E [ X n ] \sum_{n=0}^{\infty} \frac{(it)^n}{n!}\mathbb{E}[X^n] n = 0 ∑ ∞ n ! ( i t ) n E [ X n ]
也未必收敛到特征函数。光滑性本身并不蕴含解析性,而且不同分布可能具有完全相同的各阶矩,却具有不同的特征函数。
与其他变换的关系 矩生成函数 定义为
M X ( s ) = E [ e s X ] , M_X(s)=\mathbb{E}[e^{sX}], M X ( s ) = E [ e s X ] ,
其定义域为使该期望有限的那些取值。与特征函数不同,矩生成函数可能在零点的任何邻域内都无法处处取有限值。
当复指数变换在适当的定义域上有定义时,两者都可以视为该变换的限制。非严格写法 φ X ( t ) = M X ( i t ) \varphi_X(t)=M_X(it) φ X ( t ) = M X ( i t ) 需要这样的复数域延拓;仅在实数自变量上定义 M X M_X M X ,并不能自动保证这一写法成立。
对于非负随机变量,其分布的拉普拉斯变换 为
L X ( s ) = E [ e − s X ] , s ≥ 0. L_X(s)=\mathbb{E}[e^{-sX}], \qquad s\geq0. L X ( s ) = E [ e − s X ] , s ≥ 0.
每种变换侧重于不同的解析性质。特征函数的独特优势在于:它对每个概率分布都存在。
收敛与极限定理 莱维连续性定理 将特征函数与依分布收敛 联系起来。
如果 X n X_n X n 依分布收敛于 X X X ,则对每个实数 t t t ,有
φ X n ( t ) ⟶ φ X ( t ) \varphi_{X_n}(t)\longrightarrow\varphi_X(t) φ X n ( t ) ⟶ φ X ( t )
成立。
反过来,如果 φ X n ( t ) \varphi_{X_n}(t) φ X n ( t ) 逐点收敛于某个在零点连续的函数 φ ( t ) \varphi(t) φ ( t ) ,则 φ \varphi φ 是一个特征函数,且相应的分布收敛于它所对应的分布。零点处的连续性至关重要:不具备这一性质的逐点极限未必对应任何概率分布。
中心极限定理
特征函数给出了中心极限定理 的一种标准证明。设 X 1 , X 2 , … X_1,X_2,\ldots X 1 , X 2 , … 独立同分布,均值为 μ \mu μ ,方差为有限的正数 σ 2 \sigma^2 σ 2 。令
Z = X 1 − μ σ . Z=\frac{X_1-\mu}{\sigma}. Z = σ X 1 − μ .
由二阶矩有限可得局部展开式
φ Z ( u ) = 1 − u 2 2 + o ( u 2 ) ( u → 0 ) . \varphi_Z(u)=1-\frac{u^2}{2}+o(u^2) \qquad (u\to0). φ Z ( u ) = 1 − 2 u 2 + o ( u 2 ) ( u → 0 ) .
对于标准化后的和
S n = ∑ j = 1 n X j − n μ σ n , S_n= \frac{\sum_{j=1}^{n}X_j-n\mu}{\sigma\sqrt n}, S n = σ n ∑ j = 1 n X j − n μ ,
由独立性可得
φ S n ( t ) = [ φ Z ( t n ) ] n ⟶ e − t 2 / 2 . \varphi_{S_n}(t) = \left[\varphi_Z\!\left(\frac{t}{\sqrt n}\right)\right]^n \longrightarrow e^{-t^2/2}. φ S n ( t ) = [ φ Z ( n t ) ] n ⟶ e − t 2 /2 .
极限是标准正态分布的特征函数,再由连续性定理即可得到依分布收敛。
哪些函数是特征函数? 仅凭归一性、有界性和连续性,还不足以刻画特征函数。
如果对任意有限选取的 t 1 , … , t m ∈ R t_1,\ldots,t_m\in\mathbb{R} t 1 , … , t m ∈ R 和 c 1 , … , c m ∈ C c_1,\ldots,c_m\in\mathbb{C} c 1 , … , c m ∈ C ,都有
∑ j = 1 m ∑ k = 1 m c j c k ‾ φ ( t j − t k ) ≥ 0. \sum_{j=1}^{m}\sum_{k=1}^{m} c_j\overline{c_k}\, \varphi(t_j-t_k) \geq0. j = 1 ∑ m k = 1 ∑ m c j c k φ ( t j − t k ) ≥ 0.
则称函数 φ : R → C \varphi:\mathbb{R}\to\mathbb{C} φ : R → C 是正定的 。
对于特征函数,这一性质可由下式得到:
∑ j , k c j c k ‾ φ X ( t j − t k ) = E [ ∣ ∑ j c j e i t j X ∣ 2 ] . \sum_{j,k}c_j\overline{c_k}\varphi_X(t_j-t_k) = \mathbb{E}\!\left[ \left|\sum_j c_j e^{it_jX}\right|^2 \right]. j , k ∑ c j c k φ X ( t j − t k ) = E j ∑ c j e i t j X 2 .
博赫纳定理 指出,R \mathbb{R} R 上满足 φ ( 0 ) = 1 \varphi(0)=1 φ ( 0 ) = 1 的连续正定函数,是某个概率测度的特征函数。这给出了一种内在刻画,无须事先指定随机变量。
多元特征函数 对于随机向量 X ∈ R d X\in\mathbb{R}^d X ∈ R d ,特征函数为
φ X ( t ) = E [ e i t T X ] , t ∈ R d . \varphi_X(t) = \mathbb{E}\!\left[e^{it^{\mathsf T}X}\right], \qquad t\in\mathbb{R}^d. φ X ( t ) = E [ e i t T X ] , t ∈ R d .
它唯一确定联合概率分布 。每个标量投影 a T X a^{\mathsf T}X a T X 的特征函数为
φ a T X ( u ) = φ X ( u a ) . \varphi_{a^{\mathsf T}X}(u)=\varphi_X(ua). φ a T X ( u ) = φ X ( u a ) .
因此,所有标量投影的分布可以确定联合分布。
分量 X 1 , … , X d X_1,\ldots,X_d X 1 , … , X d 相互独立,当且仅当
φ X ( t 1 , … , t d ) = ∏ j = 1 d φ X j ( t j ) \varphi_X(t_1,\ldots,t_d) = \prod_{j=1}^{d}\varphi_{X_j}(t_j) φ X ( t 1 , … , t d ) = j = 1 ∏ d φ X j ( t j )
对所有 t t t 成立。
对于均值向量为 μ \mu μ 、协方差矩阵 为 Σ \Sigma Σ 的多元正态分布 ,有
φ X ( t ) = exp ( i t T μ − 1 2 t T Σ t ) . \varphi_X(t) = \exp\!\left( it^{\mathsf T}\mu-\frac12 t^{\mathsf T}\Sigma t \right). φ X ( t ) = exp ( i t T μ − 2 1 t T Σ t ) .
当 Σ \Sigma Σ 为奇异矩阵时,这一公式仍然成立。
统计与计算应用 给定来自同一分布的独立观测值 X 1 , … , X n X_1,\ldots,X_n X 1 , … , X n ,经验特征函数 定义为
φ ^ n ( t ) = 1 n ∑ j = 1 n e i t X j . \widehat{\varphi}_n(t) = \frac1n\sum_{j=1}^{n}e^{itX_j}. φ n ( t ) = n 1 j = 1 ∑ n e i t X j .
对于每个固定的 t t t ,它是 φ X ( t ) \varphi_X(t) φ X ( t ) 的无偏估计量,并且由大数定律 ,它几乎必然收敛于 φ X ( t ) \varphi_X(t) φ X ( t ) 。它本身也是一个特征函数,对应于在每个观测值处赋予 1 / n 1/n 1/ n 概率质量的经验分布。
经验特征函数可用于参数估计、拟合优度检验和独立性检验。当模型的特征函数形式简单,而密度难以求得或没有可用表达式时,它们尤其有用。
数值傅里叶反演可以恢复近似密度或概率,有时会使用快速傅里叶变换 。实际计算的局限包括频率范围截断、离散化误差、振荡积分以及可能出现的混叠。虽然特征函数在数学上能唯一确定分布,但仅凭有限个含噪声的变换值,可能很难准确恢复该分布。