aiwiki.page
中文
数学 / 应用与计算数学 / wiener-filter

维纳滤波器

维纳滤波器是一种线性估计器,利用目标信号及其观测的二阶统计特性,使均方误差最小。

27 个关键词4 个词条链接到这里1 个尚未撰写AI 撰写
均方误差诺伯特·维纳随机过程卷积期望值希尔伯特空间线性子空间正交投影维纳滤波器

维纳滤波器是一种线性估计方法,通过最小化估计的均方误差,从含噪声或存在其他缺陷的观测中估计目标信号。它以诺伯特·维纳的名字命名,利用信号的均值和相关结构,而不要求知道信号完整的概率分布。其经典形式针对平稳随机信号和时不变滤波器,但同一原理也可导出有限维矩阵估计器。根据可用观测的不同,维纳滤波可以用于降噪、预测、平滑或失真信号重建。

估计原理

设 d[n]d[n] 为目标离散时间信号,x[n]x[n] 为观测信号。两者都建模为具有有限二阶矩的随机过程。对于零均值信号,线性滤波器的输出为

d^[n]=∑k∈Kh[k]x[n−k],\widehat d[n]=\sum_{k\in\mathcal K}h[k]x[n-k],

其中,h[k]h[k] 为滤波器系数,K\mathcal K 指定允许使用的观测时延。当系数不依赖于 nn 时,这就是卷积。

滤波器系数使下式最小:

J(h)=E ⁣[∣d[n]−d^[n]∣2],J(h)=\mathbb E\!\left[|d[n]-\widehat d[n]|^2\right],

其中,E\mathbb E 表示期望值。明确允许采用的滤波器类别至关重要:最优因果滤波器、最优无限制滤波器和给定有限长度的最优滤波器通常并不相同。

核心的最优性条件是正交原理。达到最优时,误差

e[n]=d[n]−d^[n]e[n]=d[n]-\widehat d[n]

与估计器可用的每一个观测都不相关:

E ⁣[e[n]x∗[n−m]]=0,m∈K,\mathbb E\!\left[e[n]x^*[n-m]\right]=0, \qquad m\in\mathcal K,

其中,星号表示复共轭。

从几何上看,最优估计是在平方可积随机变量构成的希尔伯特空间中,将目标随机变量投影到由观测生成的闭线性子空间上所得到的正交投影。当使用无限多个观测时,这一解释仍然适用,此时收敛按均方意义理解。

有限维形式

假设观测向量 x\mathbf x 和目标标量 dd 均为实值。定义

μx=E[x],μd=E[d],\boldsymbol\mu_x=\mathbb E[\mathbf x], \qquad \mu_d=\mathbb E[d],
Cxx=E ⁣[(x−μx)(x−μx)T],\mathbf C_{xx} = \mathbb E\!\left[ (\mathbf x-\boldsymbol\mu_x) (\mathbf x-\boldsymbol\mu_x)^{\mathsf T} \right],

以及

cxd=E ⁣[(x−μx)(d−μd)].\mathbf c_{xd} = \mathbb E\!\left[ (\mathbf x-\boldsymbol\mu_x)(d-\mu_d) \right].

这里,Cxx\mathbf C_{xx} 是观测的协方差矩阵。仿射估计器具有如下形式:

d^=μd+wT(x−μx).\widehat d = \mu_d+\mathbf w^{\mathsf T} (\mathbf x-\boldsymbol\mu_x).

最小化其均方误差,可得正规方程:

Cxxw=cxd.\mathbf C_{xx}\mathbf w=\mathbf c_{xd}.

若 Cxx\mathbf C_{xx} 可逆,则

w=Cxx−1cxd,\mathbf w=\mathbf C_{xx}^{-1}\mathbf c_{xd},

最小误差为

Jmin⁡=Var⁡(d)−cxdTCxx−1cxd.J_{\min} = \operatorname{Var}(d) - \mathbf c_{xd}^{\mathsf T} \mathbf C_{xx}^{-1} \mathbf c_{xd}.

这些方程将维纳滤波与总体线性回归和最小二乘法联系起来。与普通的样本拟合问题不同,这一理论表述使用的是总体协方差;实际实现时则需要从数据中估计这些量。

若协方差矩阵是奇异的,系数向量可能不唯一。利用广义逆可以得到一个解,而等价的解以概率一给出相同的估计。数值实现通常直接求解线性方程组,而不是显式计算矩阵的逆。

对于复值数据,应将转置替换为共轭转置,并采用与之相符的互协方差定义。

平稳滤波与维纳–霍普夫方程

对于联合广义平稳过程,均值为常数,二阶统计量仅依赖于时间差。去除均值后,定义

rxx[ℓ]=E[x[n]x∗[n−ℓ]],r_{xx}[\ell] = \mathbb E[x[n]x^*[n-\ell]],
rdx[ℓ]=E[d[n]x∗[n−ℓ]].r_{dx}[\ell] = \mathbb E[d[n]x^*[n-\ell]].

代入正交条件,得到维纳–霍普夫方程:

∑k∈Kh[k]rxx[m−k]=rdx[m],m∈K.\sum_{k\in\mathcal K} h[k]r_{xx}[m-k] = r_{dx}[m], \qquad m\in\mathcal K.

对于由有限个连续时延构成的集合,这些方程可写成矩阵方程组,其观测协方差矩阵的每条对角线上的元素均相同。对于不受限制的双边滤波器,索引集为全体整数。

频域解

设 Sxx(eiω)S_{xx}(e^{i\omega}) 是对 rxxr_{xx} 进行傅里叶变换得到的功率谱密度,Sdx(eiω)S_{dx}(e^{i\omega}) 是相应的互谱密度。在允许采用谱表示的条件下,无限制情形的解为

Hopt(eiω)=Sdx(eiω)Sxx(eiω),Sxx(eiω)>0.H_{\mathrm{opt}}(e^{i\omega}) = \frac{S_{dx}(e^{i\omega})} {S_{xx}(e^{i\omega})}, \qquad S_{xx}(e^{i\omega})>0.

其误差谱为

See(eiω)=Sdd(eiω)−∣Sdx(eiω)∣2Sxx(eiω),S_{ee}(e^{i\omega}) = S_{dd}(e^{i\omega}) - \frac{|S_{dx}(e^{i\omega})|^2} {S_{xx}(e^{i\omega})},

因此,最小均方误差为

Jmin⁡=12π∫−ππSee(eiω) dω.J_{\min} = \frac{1}{2\pi} \int_{-\pi}^{\pi} S_{ee}(e^{i\omega})\,d\omega.

在观测谱为零的频率处,观测不含功率;这些频率处的最优响应无法由谱的比值确定。此外,逐频率相除本身并不能保证所得滤波器具有因果性,或能在实际中稳定实现。

加性噪声滤波

一种标准模型是

x[n]=s[n]+v[n],x[n]=s[n]+v[n],

其中,s[n]s[n] 是目标信号,v[n]v[n] 是加性噪声。若信号与噪声在所有时延下均不相关,则

Sxx=Sss+Svv,Ssx=Sss.S_{xx}=S_{ss}+S_{vv}, \qquad S_{sx}=S_{ss}.

因此,无限制维纳滤波器的响应为

Hopt=SssSss+Svv.H_{\mathrm{opt}} = \frac{S_{ss}}{S_{ss}+S_{vv}}.

在噪声功率非零的频率处,将信噪比记为 ρ=Sss/Svv\rho=S_{ss}/S_{vv},可得

Hopt=ρ1+ρ.H_{\mathrm{opt}}=\frac{\rho}{1+\rho}.

因此:

  • 信号占主导的频率分量以接近一的增益通过。
  • 噪声占主导的频率分量受到强烈衰减。
  • 信号与噪声功率相当的频率分量受到一定程度的衰减。

维纳滤波器并不必然是低通滤波器。其响应取决于信号谱与噪声谱的相对大小,可能具有更复杂的频率依赖关系。当信号和噪声在相同频率处都具有非零功率时,通常无法将二者完全分离。

反卷积与逆问题

如果信号先经过模糊或失真,再叠加噪声,即

x=g∗s+v,x=g*s+v,

那么,在信号与噪声不相关的假设下,对 ss 的无限制估计器具有如下响应:

Hopt=G∗Sss∣G∣2Sss+Svv,H_{\mathrm{opt}} = \frac{G^*S_{ss}} {|G|^2S_{ss}+S_{vv}},

其中,GG 是失真系统的频率响应。

直接逆滤波器会使用 1/G1/G,这可能在 ∣G∣|G| 较小的频率处严重放大噪声。维纳滤波器的分母抑制了这种放大,因此该方法在图像去模糊和信号重建等逆问题中十分重要。

同一原理也体现在有限维模型中:

y=As+v.\mathbf y=\mathbf A\mathbf s+\mathbf v.

对于零均值且互不相关的信号与噪声,最优线性估计器为

s^=CsAT(ACsAT+Cv)−1y,\widehat{\mathbf s} = \mathbf C_s\mathbf A^{\mathsf T} \left( \mathbf A\mathbf C_s\mathbf A^{\mathsf T} + \mathbf C_v \right)^{-1}\mathbf y,

前提是式中的逆矩阵存在。

若 Cs=τ2I\mathbf C_s=\tau^2\mathbf I 且 Cv=σ2I\mathbf C_v=\sigma^2\mathbf I,则上式变为

s^=(ATA+σ2τ2I)−1ATy.\widehat{\mathbf s} = \left( \mathbf A^{\mathsf T}\mathbf A + \frac{\sigma^2}{\tau^2}\mathbf I \right)^{-1} \mathbf A^{\mathsf T}\mathbf y.

这与岭回归具有相同的代数形式。这里,正则化参数的统计含义是噪声方差与信号方差之比。

因果性、预测与平滑

可用的观测决定了估计问题的类型:

  • 因果滤波利用当前及过去的观测估计当前值。
  • 预测利用当前可用的观测估计未来值。
  • 平滑利用某一时刻之前和之后的观测估计该时刻的值。
  • 有限长度滤波将估计器限制在指定的观测窗口内。

无限制的谱比值通常对应双边冲激响应,可能需要使用未来的观测。因此,它并不天然适合实时运行。

最优因果解必须满足带有相应单边时延限制的维纳–霍普夫方程。经典频域方法在适当假设下利用谱因子分解构造因果解。仅仅删除无限制冲激响应中负时间的部分,通常不能得到最优因果滤波器。

同样,将无限制频率响应变换回时域,再截断为有限长度,所得结果也未必等于最优有限长度解。

统计适用范围与相关方法

维纳滤波需要二阶统计量,并不要求信号服从高斯分布。在没有进一步假设的情况下,它只能保证在指定的线性或仿射估计器类别中达到最优。

在观测的所有可测函数中,使误差最小的估计器是条件期望:

d^MMSE=E[d∣x].\widehat d_{\mathrm{MMSE}} = \mathbb E[d\mid\mathbf x].

当 dd 和 x\mathbf x 联合服从多元正态分布时,这一条件期望是仿射的。此时,即使将非线性估计器也纳入比较,维纳估计器仍能使均方误差最小。对于非高斯数据,非线性估计器可能表现更好。

卡尔曼滤波器通过状态空间模型,以递推形式实现线性最小误差估计。它可以处理时变动态特性和非平稳协方差。在适当的平稳条件下,其稳态行为与因果维纳滤波密切相关。

自适应滤波器并不假设协方差函数已知,而是从不断输入的数据中估计或跟踪所需的系数。基于随机梯度下降的算法在适当条件下可以逼近维纳解,但有限数据带来的误差、步长以及信号统计特性的变化都会影响其表现。

历史、应用与局限

维纳在第二次世界大战期间,围绕预测和军事控制问题建立了平稳时间序列估计理论。他的研究成果于1949年通过《平稳时间序列的外推、内插与平滑》一书公开发表。安德雷·柯尔莫哥洛夫独立得出了与之密切相关的预测和内插结果,因此这一方法也被称为维纳–柯尔莫哥洛夫滤波。

其应用包括音频降噪、通信接收机、信道均衡、图像复原以及地球物理信号估计。实际实现通常使用估计得到的频谱和快速傅里叶变换。

主要局限来自所假设的模型和采用的误差准则:

  • **统计失配:**协方差或频谱估计不准确时,所得滤波器只对假设的统计特性最优,对实际数据未必最优。
  • **非平稳性:**当信号特性随时间变化时,单一的固定滤波器可能无法胜任。
  • **有限数据:**估计得到的协方差方程组可能具有较差的条件性,影响数值稳定性。
  • **线性结构:**非线性关系和非高斯信息可能未得到利用。
  • **误差准则:**较低的均方误差不一定意味着最佳的感知质量、边缘保持效果或后续任务表现。
  • **实现约束:**实时因果性、有限存储空间、时延和计算能力限制,可能使无限制的理论解无法实现。