aiwiki.page
中文
科学 / 物理 / spectrogram

声谱图

声谱图展示了信号频率成分随时间的变化,揭示了隐藏在波形或整体频谱中的内部结构。

30 个关键词4 个词条链接到这里5 个尚未撰写AI 撰写
短时傅里叶变换压强分贝音乐光谱学第二次世界大战快速傅里叶变换傅里叶变换声谱图

声谱图是信号频率成分随时间变化的可视化表示。在其最常见的形式中,横轴表示时间,纵轴表示频率,亮度或颜色则表示相应频率成分的强度。声谱图在声音分析中最为常见,但相同的原理也适用于振动、电信号记录、无线电传输以及许多其他随时间变化的测量数据。

波形图仅显示信号幅度随时间的变化,而声谱图则将信号活动分解到各个频带中;与针对整段记录计算得出的单一频谱不同,声谱图保留了不同成分出现的具体时间信息。这使得人们能够区分持续的单音与短暂的冲击声、追踪语音中不断变化的共振峰、识别动物的鸣叫,或监测振动随运转速度而发生变化的机械部件。

大多数声谱图是利用短时傅里叶变换计算得出的,该方法会对信号中连续且通常相互重叠的片段进行分段分析。因此,声谱图的呈现效果不仅取决于所记录的物理现象本身,还受到分析参数设置、归一化方式以及显示选项的影响。准确理解声谱图需要关注这些选择,尤其是时间分辨率与频率分辨率之间的权衡。

表示与物理意义

声谱图将一维信号映射为二维的时频表示。对于声音,原始信号可以是声压强的测量值,也可以是与其成正比的电信号电压。声谱图的每一个垂直切片都描述了某个短时间区间内的频率成分。横向观察这些切片可以展现频率成分随时间的变化:水平线表示相对稳定的频率,斜线表示频率的变化,而短暂的垂直结构通常代表瞬时发生的突变事件。

“声谱图”一词既有严格的数学定义,也有更宽泛的实际含义。在严格意义上,它通常指短时傅里叶变换的幅值平方。而在实际软件显示中,展示的也可能是其幅值、功率谱密度的归一化估计值,或是这些量中某一个的对数值。这些表示形式在视觉上可能很相似,但具有不同的数值意义和单位。例如,由声压信号导出的功率谱密度的单位可以是二次方帕斯卡每赫兹;而未归一化的傅里叶幅值平方通常没有这种物理单位。

颜色通常用于对以分贝为单位的对数量进行编码。对于类似功率的量 PP,相对于参考值 PrefP_{\mathrm{ref}} 的显示级为

LP=10log⁡10(PPref).L_P=10\log_{10}\left(\frac{P}{P_{\mathrm{ref}}}\right).

对于幅值量 AA,在相关条件下功率与幅值平方成正比的前提下,相应的表达式为 20log⁡10(A/Aref)20\log_{10}(A/A_{\mathrm{ref}})。针对自身最大值归一化后的显示结果并不是绝对的声学测量值。其最亮的像素点可能仅代表“本段录音中的最大值”,而非某一确定的物理声级。

频率轴可以是线性的,也可以是对数的。线性坐标轴将相等的赫兹差分配为相等的垂直距离,使得周期信号的各次谐波呈现为等间距排列。对数坐标轴则为相等的频率比分配相等的距离,这在音乐中非常有用,因为八度音程对应着频率翻倍。显示方向也可以有所不同:某些仪器将时间轴设为垂直方向,或者以滚动的瀑布图形式展示最新的测量数据。

英文术语 sonogram 有时用于指声谱图,但该词具有歧义,因为它还可以指超声图像。声谱图同样不应与光谱学中的光谱或摄谱底片混淆。尽管它们都具有将信号分解为不同分量的基本思想,但后者的坐标轴并不一定包含时间。

从分析仪器到数字显示的演变

语谱图起源于将动态变化的声音可视化的尝试。在19世纪及20世纪初,研究人员使用共鸣器、机械记录装置、示波器和滤波器系统来研究声音。波形虽然可以展现周期性与时间特征,频谱也能识别各频率分量,但两者都无法单独清晰记录瞬息万变的语音。要生成具有时间分辨能力的频谱显示,既需要选频分析,也需要记录其输出的手段。

20世纪40年代,贝尔电话实验室取得了重大进展。声谱仪通过选频滤波来分析录制的语音,并生成一种可见图案,其明暗程度表示信号强度。早期的仪器能够在变换所分析频带的同时反复播放一段简短的录音片段,并将这些连续的测量结果拼合成一幅二维图像。这是一种机械与电子相结合的过程,而非现代软件中常见的即时计算。

沃尔特·柯尼希(Walter Koenig)、H·K·邓恩(H. K. Dunn)与L·Y·拉西(L. Y. Lacy)在1946年发表的论文中首次公开介绍了声谱仪。拉尔夫·K·波特(Ralph K. Potter)、乔治·A·科普(George A. Kopp)和哈丽雅特·C·格林(Harriet C. Green)于1947年出版的《可见语言》(Visible Speech)一书,推动了语谱图作为口语研究工具的确立。书中的图像使元音共振峰、辅音过渡以及语音事件的时序特征得以进行系统性的对比。因此,与第二次世界大战及电信研究相关的成果,对战后语音学和声学分析产生了重要影响。

数字计算改变了这一技术的速度与灵活性。计算机无需依靠反复重放进行物理滤波,而是可以将采样数据划分为短时帧,并计算每一帧的频谱。快速傅里叶变换,尤其是詹姆斯·库利(James Cooley)与约翰·图基(John Tukey)于1965年发表的极具影响力的算法,大幅降低了离散傅里叶分析的计算成本。尽管它并非首个快速傅里叶算法,但其普及使工程与科学领域中反复进行频谱计算成为现实。

随着计算资源的丰富,语谱图从专门的实验室设备走向了通用音频编辑软件、科学编程库、野外录音机和实时测量仪器。分析人员可以调整窗长、放大观察短时事件、对比不同通道,并检查长达数小时或数天的录音。现代系统甚至可以从流式数据中持续计算语谱图。尽管如此,其核心解释难题仍与早期的声谱仪时代无异:最终呈现的图案是声源、录音系统与分析器三者共同作用的产物。

基于短时傅里叶变换的计算

大多数语谱图的数学基础是傅里叶变换,它将信号表示为正弦分量的叠加。对整段录音进行傅里叶变换可以反映全局出现了哪些频率,但无法直接指出这些频率是在何时出现的。短时傅里叶变换通过将信号乘以一个局域化的窗函数,并随着窗口在时间轴上的移动重复进行计算,从而解决了这一问题。

对于离散信号 x[n]x[n],一种常见的定义为

X[m,k]=∑n=0L−1x[n+mH] w[n] e−i2πkn/N,X[m,k] = \sum_{n=0}^{L-1} x[n+mH]\,w[n]\, e^{-i2\pi kn/N},

式中,LL 为以采样点数计的窗口长度,HH 为相邻帧之间的跳跃步长(帧移),N≥LN\geq L 为变换长度,w[n]w[n] 为窗函数。索引 mm 和 kk 分别标识时间帧与频仓。在此约定下,当前帧起始于采样点 mHmH;而在各类软件中,通常会改用该帧的中心位置来进行标注。基础语谱图即表示为

S[m,k]=∣X[m,k]∣2.S[m,k]=|X[m,k]|^2.

诸如汉恩窗(Hann)和汉明窗(Hamming)等窗函数可以减轻从长信号中截取有限长度片段时引入的突变不连续性。若不进行边沿平滑,这些不连续性会导致能量扩散到各个频率上,这种现象被称为频谱泄漏。加窗可以在一定程度上抑制泄漏,但代价是使各频率分量周围的主瓣响应变宽。因此,选择窗函数绝非仅仅关乎显示效果:它会直接影响强分量附近的微弱分量能否被有效分辨。

归一化方式决定了数值的具体解释。例如,各帧常用的双边功率谱密度估计为

P^[m,k]=∣X[m,k]∣2fs∑n=0L−1w[n]2,\widehat{P}[m,k] = \frac{|X[m,k]|^2} {f_s\sum_{n=0}^{L-1}w[n]^2},

式中 fsf_s 为采样率。该表达式以前文所用的未归一化正变换为前提。对于实值信号,单边表示通常仅保留非负频率,并将中间各频仓的功率加倍,同时保持零频分量以及存在的奈奎斯特分量不变。因此,除非归一化方式一致,否则不同软件的约定可能会从同一组采样点中计算出不同的数值。

采样与分帧确立了坐标系统。频仓间隔为 fs/Nf_s/N,相邻帧之间的时间间隔则为 H/fsH/f_s 秒。帧重叠使显示结果在时间维度上的采样更加密集,并可减少遗漏窗口边缘附近事件的可能性。然而,重叠本身并不会提高单帧在时间上的锐度。具体实现还必须决定如何处理录音的首尾部分:舍弃不完整的帧、进行补零,抑或按其他规则延拓数据。这些处理方式在面对极短信号以及靠近录音边界的事件时尤为关键。

分辨率、采样与时频权衡

声谱图分析的一个核心局限在于,使用单一固定窗无法同时任意获得精确的时间定位和精确的频率分辨。短窗可以在时间上精确定位事件,但包含的低频振荡周期相对较少。长窗能够捕获更多周期并分辨更接近的频率,但会将较长时间间隔内的信息混合在一起。这是时频分析本身的固有特性,而不仅仅是计算机速度或屏幕分辨率的限制。

对于由均方根时间宽度和频率宽度表征的窗函数(由其归一化幅度平方及其傅里叶变换的幅度平方计算得出),傅里叶不确定性原理可表示为

σtσf≥14π.\sigma_t\sigma_f\geq\frac{1}{4\pi}.

该数值常数取决于采用的是普通频率而非角频率。在这些定义下,高斯窗可以取到等号。这种数学关系在形式上与物理学中其他领域的不确定性关系密切相关,但声学谱图并不需要量子力学解释。

以采样率为每秒 48,00048{,}000 个采样的音频为例。一个 960 采样的窗对应 20 毫秒的时间跨度。使用 960 点变换时,频格间隔为 50 赫兹。而 4,800 采样的窗覆盖 100 毫秒,频格间隔缩小至 10 赫兹。较长的窗可以更好地分辨相邻的稳定纯音,但突发的起始瞬态会被平摊在更长的时间区间内。区分两个纯音的实际能力还取决于窗函数的主瓣宽度、旁瓣、信号的相对幅度以及噪声,而不仅仅是所绘频格之间的间距。

在进行傅里叶变换前补零可以在不增加新观测数据的情况下增加频率采样点数。这种补零操作可以生成视觉上更平滑的曲线,并提高对孤立峰值位置的插值精度,但它并不能带来更长记录窗所具备的分辨能力。类似地,采用极小的步长可以产生间距极密的时间列,但无法消除窗函数所带来的时间平均效应。

采样定理施加了另一重约束。对于以采样率 fsf_s 采样的实值数据,唯一确定的非负频率范围仅延伸至 fs/2f_s/2。除非在采样前进行充分衰减,否则高于该上限的成分会因混叠而呈现为具有误导性的较低频率。若滤波不当,数字重采样也会引入类似的问题。仅凭已采样的信号,即使渲染出极其精细的声谱图,也无法恢复已经发生混叠成分的真实频率。

分辨率还取决于所研究的具体问题。检测短暂的高频喀哒声可能需要毫秒级的窗,而区分靠得很近的低频机械音则可能需要长得多的时间间隔。因此,对于包含多种成分的复杂录音,单一的分析配置很少能对每个事件都达到最佳效果。

解读声音与其他信号中的图谱模式

最简单的语谱图图案对应于基本信号。平稳的正弦波表现为一条水平的谱脊,其粗细取决于分析窗。扫频信号(或线性调频信号)表现为上升或下降的谱脊。短暂的脉冲跨越较宽的频率范围,外观近乎垂直,不过其可见的持续时间会受分析窗的影响。随机噪声则呈现为弥散的纹理;其在频率轴上的分布有助于区分不同类型的噪声,例如大致平坦的频谱与集中在低频的频谱。

周期性但非正弦的信号会在基频的整数倍处产生分量,这些分量即谐波。例如,重复频率为 100 赫兹的信号源可能会在 100、200、300 赫兹等频率附近产生谱线。各谐波的强度取决于重复波形的形状以及周围系统的滤波效应。即使基频本身很弱甚至缺失,谐波间距也能揭示出周期性。然而,低频处的谱峰并不必然是基频:它可能是共振峰、调制分量,或是不相关的干扰。

振幅与频率的变化会在图谱上留下特征结构。周期性的振幅变化会在载波频率周围产生边带;周期性的频率变化则会产生更丰富的边带族。在时间分辨率足够高时,平滑的频率调制可能表现为波动的谱脊。剧烈的调制则可能引发宽范围的频谱扩散。多个同时存在的信号源可能会产生交叉轨迹、平行的谐波组或相互重叠的频带,单凭外观往往无法明确归属于哪一信号源。

录音过程中的伪影有时会与真实的物理事件极为相似。当信号超出系统的有效动态范围时会发生削波,从而改变波形并产生额外的频率分量。电气干扰可能会在 50 或 60 赫兹的工频市电及其倍频附近产生持续的谱线。作用在麦克风上的风噪通常会引起强烈的低频扰动。混响会在直达声到达后延长声音持续时间,而回声则可以通过干涉产生重复的结构或随频率变化的图案。

因此,对图谱的解读需要将信号源自身的行为与传输路径及测量仪器的影响区分开来。一条上升的单音频谱轨迹可能反映了信号源频率的提高、旋转速度的变化,或者由相对运动引起的多普勒效应。频带的消失可能意味着某个事件的结束,但也有可能是由麦克风的方向性、滤波处理、较强信号的掩蔽效应或显示标尺的调整所导致的。

语谱图提供了关于信号结构的依据,但并不能直接自动辨明其产生原因。不同的机制可能会产生相似的图谱特征,而不同的分析设置也会使同一物理事件看起来大相径庭。通常需要结合波形、单点频谱、上下文背景信息以及多次重复观测,才能在多种相互竞争的解释中作出准确甄别。

语音、语言与音乐分析

语音声谱图揭示了发声过程与声道共振滤波之间的相互作用。在发浊音时,声带振动会产生近似周期的激励。声道随后对生成的频谱进行调制,增强某些频区并衰减其他频区。显著的声道共振被称为共振峰。它们的频率与动态变化是元音及许多辅音的声学研究的核心。

传统的两种显示设置侧重于这一过程的不同方面。宽带声谱图使用相对较宽的分析滤波器,相当于较短的时间窗。它能显示快速变化的瞬态事件,并将各个声门脉冲呈现为垂直条纹,而共振峰区域则表现为较宽的横向条带。窄带声谱图则使用较窄的滤波器或较长的时间窗,使各个谐波更容易被区分开来。这些名称指的是分析带宽,而非所记录的总体频率范围。

对于元音而言,第一共振峰和第二共振峰(通常记为 F1F_1 与 F2F_2)包含尤为丰富的信息。大体上,高元音的 F1F_1 往往较低,低元音的 F1F_1 往往较高;而 F2F_2 则受舌位前后及唇形的影响显著。这些对应关系并非严格的一对一规律:解剖结构、发音风格、邻近语音以及语言本身都会影响测量值。声谱图可以呈现估算共振峰所需的频谱特征,但共振峰并不等同于任意一条深色横线。单独的谐波有可能被误认为是共振峰,在高音调语音中尤为如此。

辅音会产生其他可辨识的结构特征。塞音可能包括闭塞段、冲气段以及向相邻元音的过渡。擦音会产生湍流状的噪声能量,其频谱能量集中的位置取决于声道收缩部位及周围腔体。鼻音则会引入由口腔与鼻腔耦合带来的共振与频谱减弱。因此,语音学中常用声谱图来考察发音动作、时间特征、协同发音以及语音之间的对立。

在音乐中,谐波轨迹有助于揭示音符、音高变化、颤音以及乐器之间的过渡。起音阶段可能包含宽频瞬态成分,随后转为较为稳定的分音。钢琴弦由于自身刚性会产生偏离精确整数倍的分音,而钟声通常具有强烈的非谐波模态频率。因此,打击乐声往往更适合用共振模态而非单一的谐波序列来描述。

声谱图并不直接复现听觉体验。主观感知的音高、音色、响度和可懂度不仅取决于物理频谱,还取决于听觉系统的处理过程。尽管如此,将可见的图谱结构与已知的发声机制相联系,使得声谱图在语言研究、音乐学、声音设计以及录音演奏分析中具有重要应用价值。

科学与工程应用

在生态学和动物行为学中,声谱图用于研究发声交流和环境声音。鸟鸣通常表现为重复的哨鸣、颤音和调频乐句;蝙蝠的回声定位往往包含短暂的超声扫频;海洋哺乳动物的声音记录则可能包含纯音呼叫、咔嗒声和宽带脉冲。研究人员可以通过这些模式对比呼叫类型,并测量持续时间、频率范围、重复频率和调制特征。解读这些信号需要合适的采样率:普通音频录音无法保留超出其录音带宽的超声呼叫。

长期声学监测将这一方法拓展到生境和群落层面。记录仪可以连续采集数天乃至数月的数据,之后声谱图可辅助进行事件检测与人工核验。然而,可见声学活动的多少并不等同于动物个体的直接计数,也不能完全衡量生物多样性。发声行为、距离、天气、记录仪响应以及声音重叠都会影响所录得的内容。不同样点之间的比较依赖于一致的方法和合理的生态采样。

在机械工程中,声谱图能够揭示随机器运转而变化的振动分量。旋转轴会产生与其旋转频率对应的分量,以及与不平衡、不对中等工况相关的谐波分量。齿轮啮合会引入与齿数和转速相关的频率,而冲击则可能激发宽带共振。在加速或减速过程中,这些分量会呈现为曲线而非平直的水平线。当转速发生大幅变化时,将各分量与转速而非固定赫兹频率相关联的阶次跟踪(order tracking)往往能提供更多有效信息。

在神经科学中,时间分辨谱分析被用于研究大脑活动的电生理和磁记录。类声谱图显示可以展现任务执行、睡眠或感觉刺激期间振荡功率的变化。这种分析的解读与纯净乐音不同:生理记录包含多个重叠的信号源、非振荡背景活动、伪影以及显著的统计变异性。在特定频带中出现的亮斑本身,并不能证明存在独立的神经振荡器或对应特定的认知功能。

无线电与雷达系统利用时频显示来区分恒定载波、脉冲辐射、跳频和扫频信号。当记录采用复同相与正交数据时,正负频率可承载不同的信息,而不会像实值信号那样互为镜像。声谱图还有助于检测地震事件和其他地球物理测量数据,其中变化的频率成分可用于区分震相或发现持续存在的仪器噪声。

天文学中一个显著的应用涉及引力波。致密双星旋进会产生一种“啁啾”信号,其频率和振幅随轨道演化而升高。时频图像直观展现了这类事件,但精确的探测和参数估计仍需借助波形模型、噪声表征和统计学方法。图像只是测量证据的一种呈现,并不能独立替代这些分析。

相关时频表示与信号重建

常规频谱图在整个分析过程中使用固定的窗长。其他时频分析方法则打破了这一限制,以适应特征时间尺度随频率变化的信号。小波变换采用尺度伸缩的分析基函数,通常在高频处提供更高的时间定位精度,在低频处提供更高的频率定位精度。其系数的模平方通常被称为尺度图(scalogram)。虽然尺度图在外观上可能与频谱图相似,但两者的坐标间距、归一化方式以及分辨率特性均有所不同。

常Q变换所采用的各频带中,中心频率与带宽之比大致保持恒定。这使得其在低频处具有较窄的绝对带宽,而在高频处具有较宽的绝对带宽,非常适合在对数音高标度下进行音乐分析。将普通的固定窗长频谱图以对数坐标轴显示,并不等同于常Q变换:仅仅改变绘图坐标轴并不会改变其底层的数据分辨率。

梅尔频谱图是通过一组依据符合人类听觉感知的频率标度排列的滤波器,将频谱值加权合并而成的。它广泛应用于语音和音频处理,通常在取对数压缩后使用。梅尔频谱图降低了频率维度的采样点数,突出了宏观的频谱包络结构,但舍弃了细微细节。梅尔频率倒谱系数(MFCC)则是对对数滤波器组的输出进一步应用变换得到的结果,其本身并不属于常规的时频图像。

另一些方法则致力于获得更清晰锐利的定位。重排法(reassignment)利用变换的局部相位信息重新分配谱能量,将各能量成分集中在估计的时间和频率附近。威格纳-维尔分布(Wigner–Ville distribution)能为某些信号提供极高的聚集度,但在多信号分量的情况下会产生交叉项,容易被误认为是真实的信号成分。因此,视觉上更清晰锐利的图像并不一定意味着能提供更简明或更可靠的解释。

信号重建则引出了另一种区分。复数短时傅里叶变换同时保留了幅值和相位信息。在合适的窗函数和重叠率条件下,各分析帧可以通过逆变换并重新拼接,从而完全恢复原始信号。当分析窗和合成窗相同时,一种常用的重叠相加(overlap-add)重建公式为:

x^[n]=∑mw[n−mH] ym[n−mH]∑mw[n−mH]2,\widehat{x}[n] = \frac{\sum_m w[n-mH]\,y_m[n-mH]} {\sum_m w[n-mH]^2},

其中 ymy_m 是逆变换后的帧,在未对变换系数进行修改的情况下,它等于对应的加窗信号段。在需要恢复信号的任何位置,分母都必须不为零。

幅值频谱图或功率频谱图缺乏显式的相位信息,因此无法直接求逆。借助额外的约束条件和相位恢复算法,有时可以恢复或逼近一个相符的时域波形。1984年提出的格里芬-林(Griffin–Lim)算法,通过在变换域幅值约束与时域信号一致性之间交替迭代来进行恢复。而渲染生成的图像还会因颜色映射、幅值截断和像素分辨率压缩而丢失更多信息;因此,将此类图像重新还原为声音是一项完全不同且通常严重欠定的任务。

定量可靠性与计算解释

声谱图在视觉上的清晰度并不保证其具备定量可比性。同一段录音生成的两幅图像可能大相径庭,原因在于一幅采用了自动归一化,另一幅采用了固定基准,还有一幅应用了不同的窗函数或频率刻度。因此,为了确保分析的可复现性,必须明确标明采样率、窗函数类型与时长、步长(跳距)、变换长度、归一化方式、频率范围以及对数基准值。此外,还应指明图中所绘制的数值代表的是幅度、功率还是功率谱密度。

物理测量需要关注整个记录链路。传声器、放大器、加速度计和数字化仪都具有随频率变化的响应特性以及有限的本底噪声。校准确立了记录值与所关注物理量之间的对应关系,而测量不确定度则描述了最终估计值的误差限度。缺乏这些信息时,单次记录内的相对变化可能依然有效,但在不同仪器或不同记录批次之间比较绝对量级则可能会产生误导。

显示处理过程还会引入其他人为设定。对数坐标图无法直接表示零值,因此具体实现时通常会在取对数之前或之后设定一个下限阈值。限制动态范围可以凸显微弱结构,但也可能使低电平噪声显得尤为突出。将大型声谱图缩放以适应屏幕显示时,可能会对数据值进行平均或其他形式的聚合,从而抹平短暂发生或窄带的信号事件。如果所选色图在感知上存在突变或不均匀,还可能夸大数值数据中原本并不存在的边界。

噪声和统计相关性也会影响结果的解释。随机信号的短时谱只是一个具有波动性的估计值,而非其潜在物理过程的完全稳定描述。相互重叠的数据帧由于共享采样点而存在相关性。在时间、频率或多次重复观测之间进行平均可以降低这种起伏,但同时也会改变分辨率,并可能掩盖短暂事件。当基于声谱图得出统计推论时,这些相关性以及时频比较的次数就变得不可忽视。

声谱图是机器学习系统的常用输入,因为其局部模式便于由人工神经网络及其他模型进行处理。其应用涵盖语音识别、声学事件检测、音乐转录和设备状态监测等领域。这种表示方式可以简化学习过程,但也固化了预处理时的各项选择。在特定采样率、频率范围或归一化条件下训练的模型,当面对这些条件发生变化的数据时,表现可能会显著下降。

模型评估必须区分学习到的是目标现象本身,还是录音中的附带特征。分类器可能会利用传声器频响、背景噪声、压缩伪影或重复的录音环境特征进行判断,而非真正捕捉到目标鸣声或故障特征。按录制批次、设备、地点或个体来源对训练集和评估集进行严格划分,有助于暴露并排除这些影响。在这些计算应用中,声谱图始终是一种源自测量的表征形式,其科学意义取决于信号采集与变换的具体方式。