短时傅里叶变换(STFT)是一种数学变换,用于表示信号在一系列时间点附近的频率成分。它将信号与一个局部化的窗相乘,再对得到的片段进行傅里叶变换。在不同位置重复这一操作,就能得到复值的时频表示。对整段记录进行傅里叶变换,并不能明确指出各频率成分在时间上的位置;相比之下,STFT 能揭示变化的音调、瞬态事件以及其他随时间演变的频谱结构。
STFT 是调和分析和数字信号处理中的基础工具。它广泛应用于语音与音乐分析、降噪、通信、振动监测,以及许多其他涉及时变信号的领域。
连续定义
设 为信号, 为集中在原点附近的非零窗函数。一种常见定义为
其中:
- 是窗的时间位置;
- 是频率,以单位时间内的周期数计量;
- 上横线表示复共轭;
- 是虚数单位。
对于每个固定的 ,这就是加窗信号 的傅里叶变换。窗会抑制远离 处的信号贡献,从而使变换具有时间局部性。
输出同时包含幅度和相位。幅度表示信号与局部振荡的匹配程度,相位则描述相应的复数相位对齐关系。这些值取决于窗和归一化约定,因此幅度并不天然等同于经过校准的正弦信号幅值或功率谱密度。
有些定义采用角频率 ,对实值窗省略共轭,或将 替换为 。最后一种改动相当于将变换乘以 :幅度保持不变,但相位会改变。
对于有限能量的信号和窗,也可以通过希尔伯特空间 上的内积来理解 STFT。每个系数都衡量信号与窗经平移和频率调制后所得函数之间的匹配程度。
离散计算
对于采样信号 ,一种广泛使用的实现方法是将数据划分为相互重叠的帧,并对每个加窗帧计算离散傅里叶变换:
这里, 是帧索引, 是以采样点数计的帧移, 是窗长, 是变换长度。该表达式假设分析窗为实值窗。当 时,需要对加窗帧补零。
快速傅里叶变换使这一计算能够高效完成。对于 帧,变换阶段通常需要 次运算。
若采样频率为 ,则相邻帧的时间间隔为
相邻频点的频率间隔为
仅凭其中任何一个间隔,都不能确定实际的分辨能力。通过补零增大 会使频率网格更密,但不会增加区分更接近的音调所需的观测时长。同样,减小 只是对时频表示进行更密集的采样,并不会缩短窗长。
对于实值信号和实值窗,正、负频率系数具有共轭对称性。因此,实现时通常只保留非负频率。帧的时间标签采用起始采样点还是中心位置,则是另一项独立约定;当需要将结果与其他测量对齐时,这一约定十分重要。
声谱图
声谱图通常显示 STFT 幅度的平方:
时间和频率构成两个坐标轴,颜色或亮度表示频谱强度。由于信号成分可能跨越很大的动态范围,因此常采用对数显示。
典型的功率级显示采用
其中 是参考值。实际显示时通常会设置下限,以处理零值并限制绘图范围。
“声谱图”一词有时也被较宽泛地用于幅度图或采用其他频谱标度的图。比较数值时,必须区分这些约定。尤其是,将 STFT 幅度的平方转换为功率谱密度,需要根据窗和采样率进行适当归一化;采用单边表示时,还需要妥善处理成对的正负频率。
STFT 保留相位,而常规声谱图会舍弃相位。这一区别对于信号重建和修改至关重要。
窗的选择与时频分辨率
窗决定了时间局部性与频率局部性之间的折中:
- 短窗能够更准确地定位短暂事件,但会使窄带成分扩展到更宽的频率范围。
- 长窗能够更有效地区分相近的持续频率,但会将窗内不同时刻发生的事件混合在一起。
这种折中并不只是计算能力的限制。对于具有适当正则性且已归一化的窗,设 和 分别为其时域和频域能量分布的标准差。在上述频率约定下,时频不确定性原理给出
高斯窗可使等号成立。这一结论描述的是能量在时间和频率上同时集中的程度,并不意味着在附加假设下,无法更精确地估计孤立音调的频率。
窗的形状还决定了频谱泄漏。时域中与窗相乘,对应于频域中的卷积,因此理想谱线会按照窗的频谱形状展宽。
常见选择包括:
- 矩形窗:对片段内的所有采样点赋予相同权重,但旁瓣相对较强。
- 汉宁窗和海明窗:使片段两端逐渐衰减,以降低旁瓣,代价是主瓣变宽。
- 布莱克曼窗:提供更强的旁瓣抑制,但主瓣会进一步展宽。
- 高斯窗:因良好的时频集中性而受到重视。
- 凯泽窗:通过一个参数控制主瓣宽度与旁瓣衰减之间的折中。
没有任何一种窗在所有情况下都是最优的。区分两个相近的强音调、检测强音调旁的弱音调,以及定位短暂的瞬态事件,各自有不同的要求。
逆变换与重建
在适当条件下,完整的复值 STFT 包含足以重建信号的信息。
连续逆变换
采用上述连续定义时,重建公式可写为
其中
对于一般的平方可积函数,应在适当的 意义下理解此公式;若具备额外的正则性,则可以更直接地作逐点解释。
相应的能量恒等式为
因此,完整 STFT 保留了信号能量,只相差一个窗的能量因子。
离散重叠相加重建
对于离散定义,令
若系数未经修改,则在窗的支撑范围内有 。使用同一个实值窗进行合成,可得
前提是分母不为零。这里约定,窗和各帧序列在其各自的支撑范围之外均为零。
这就是加权重叠相加重建。若分母为常数,重建时只需进行常数归一化。更一般地,分析窗与合成窗可以不同,只要二者平移后的乘积满足所需的重建条件即可。
对于有限长度的记录,填充和边界处理十分重要:即使窗与帧移的组合在其他位置满足条件,也可能无法充分覆盖端点处的采样值。
仅根据幅度进行重建是另一类逆问题,称为相位恢复。帧间重叠可以约束缺失的相位,但解的唯一性和数值稳定性取决于信号、窗和采样方案。Griffin–Lim 算法等迭代方法旨在寻找一个信号,使其 STFT 幅度近似于指定目标。
伽博分析与历史发展
局部化傅里叶分析是在通信、声学和数学分析的研究过程中发展起来的。丹尼斯·伽博于 1946 年开展的工作,将局部化振荡函数与信号的时频描述联系起来。
伽博变换一词通常指使用高斯窗的 STFT,但术语用法并不统一。更一般地,伽博分析研究由窗的平移和调制副本构成的函数系统,包括这些系统能否稳定地表示信号。
在时频格点上对 STFT 进行采样,会引出完备性、冗余性和重建等问题。框架理论为稳定且可以具有冗余的表示提供了理论框架。因此,帧间重叠可能具有数学上的价值,而不只是重复计算。
FFT 算法和数字计算技术的发展,使得对录制信号和流式信号开展大规模 STFT 分析成为现实。
应用
当信号的频率成分随时间变化,但在短时间区间内仍能得到有意义的描述时,STFT 尤其有用。
- **语音分析:**揭示谐波、共振峰结构以及语音音素之间的过渡。
- **音乐分析:**支持音高跟踪、起音检测、音乐转录以及乐器频谱的可视化。
- **音频处理:**频谱降噪、声源分离、均衡和时间拉伸通常都在 STFT 系数上进行。
- **机械监测:**时变频谱成分能够揭示旋转状态、振动或冲击的变化。
- **通信与感知:**帮助表征突发信号、啁啾信号、干扰和其他非平稳信号。
- **机器学习:**声谱图及相关特征为机器学习系统提供结构化输入。
修改系数还需要考虑其他问题。对于固定的分析配置,任意复数数组未必恰好是某个信号的 STFT。因此,逆变换所得信号再次进行 STFT 分析时,其结果可能与编辑后的数组不同。这称为一致性问题。
局限性与相关方法
常规 STFT 使用固定的窗,因此其整个表示中的绝对时间分辨率和绝对频率分辨率都近似固定。当信号同时包含缓慢变化的低频成分和短暂的高频事件时,这可能构成限制。
小波变换使用经过尺度伸缩的分析函数,通常在高频处提供更精细的时间局部性,在低频处提供更精细的绝对频率局部性。恒 Q 变换使用的频带,其带宽近似正比于中心频率。这些方法不同于标准 STFT 均匀分布的频点。
重分配方法和同步压缩方法根据局部相位行为重新定位变换信息,可以使某些时频结构更加清晰。它们并不能消除根本的时频不确定性折中,而且在解释紧密重叠的成分时需要谨慎。
其他实际局限包括对窗选择的敏感性、端点伪影、有限采样以及相位约定。频谱峰不一定代表独立的物理源:窗的旁瓣、干涉、调制和噪声都可能产生可见结构。因此,对结果的解释既取决于变换,也取决于信号模型。