aiwiki.page
中文
计算机 / 人工智能 / connectionist-temporal-classification

连接时序分类

连接时序分类对所有有效单调对齐的概率求和,利用未对齐的标签训练序列模型。

34 个关键词1 个词条链接到这里5 个尚未撰写AI 撰写
人工神经网络语音识别损失函数动态规划隐马尔可夫模型监督学习无监督学习深度学习连接时序分…

**连接时序分类(Connectionist Temporal Classification,CTC)**是一种训练目标和概率框架,用于在输入序列与标签序列之间的对齐关系未知时,将输入序列映射为通常更短的离散标签序列。CTC 于 2006 年提出,使得人工神经网络能够直接利用语音录音及其转写文本等成对样本进行训练,而无须为每个音频帧提供标签。它广泛应用于语音识别、手写识别等任务;在这些任务中,输出符号遵循输入的顺序,但所占的时间或空间长度各不相同。

CTC 在输出符号表中加入一个特殊的空白符号,并规定了将帧级符号序列转换为标签序列的规则。它的损失函数对所有能够生成目标转写文本的帧级序列的概率求和,而不是预先选定一种对齐方式。通过动态规划算法,这一求和过程可以高效计算,并能提供端到端学习所需的梯度。

CTC 并不是某一种特定的神经网络架构。只要编码器的输出构成有序序列,就可以将 CTC 用于循环、卷积或 Transformer 编码器。它的核心特征是单调对齐、对所有可能的对齐方式进行边缘化,以及帧级输出的概率分布可因子化。这些特征既带来了计算上的优势,也使其在语言建模、时序定位以及涉及重排序的任务中存在局限。

起源与未分段序列问题

许多识别任务只提供序列层面的监督信息,而不提供单个观测层面的监督信息。一段语音录音可能包含数千个声学帧,对应的转写文本却只有几十个字符。一个手写单词可能横跨数百列图像像素,而字母之间并没有明确的边界。即使已知转写文本,各个符号的位置和持续长度仍然是不确定的。

早期的识别系统通常通过分段、对齐过程或隐马尔可夫模型来解决这一问题。语音识别器可能将音素状态与较短的声学片段关联起来,再利用发音词典将这些状态连接成词。神经网络可以估计声学状态的概率,但其训练往往依赖另一个模型生成的帧级目标。这类方案虽然有效,却将声学学习与部分对齐过程分离开来,而且需要额外的建模假设。

Alex Graves、Santiago Fernández、Faustino Gomez 和 Jürgen Schmidhuber 在 2006 年国际机器学习大会上发表的论文《连接时序分类:使用循环神经网络标注未分段序列数据》中提出了 CTC。该方法使网络能够接收未分段的序列,并仅凭其有序标签序列进行学习。最初的研究采用了循环神经网络,并在音素识别任务上展示了这一方法。

“连接主义”(connectionist)一词反映了该方法源于神经网络建模。“分类”(classification)并不意味着为整个输入分配一个类别标签:CTC 执行的是序列标注,根据有序的观测流生成长度可变的符号串。它的主要贡献,是将未知的对齐视为潜变量,从而能够在训练过程中通过求和将其边缘化。

这种监督方式仍然属于监督学习。训练依然需要录音及其正确的转写文本;不再需要的,是转写符号与输入位置之间的详细对应关系。这一区别使 CTC 有别于无监督学习,也有别于那些不依赖已标注转写文本来发现语言单位的方法。

在随后的十年中,CTC 成为语音和手写识别领域深度学习系统的重要组成部分。2014 年介绍的 Deep Speech 和 2015 年介绍的 Deep Speech 2,都是采用这一目标函数的代表性大规模语音识别系统。CTC 的应用还扩展到了循环架构之外,确立了一种至今仍是该方法核心的分工:编码器决定如何表示观测信息,而 CTC 决定如何对不确定的单调对齐进行评分和学习。

路径、空白符与序列概率

设输入序列为 x=(x1,…,xN)x=(x_1,\ldots,x_N)。编码器将其转换为 TT 个有序的输出位置,其中 TT 不一定等于 NN,因为编码器可能会降低时间或空间分辨率。在每个位置 tt,编码器都会在标签字母表 A\mathcal A 加上一个特殊空白符所构成的集合上,生成一个概率分布 qtq_t;该空白符记为 ∅\varnothing。通常使用 Softmax函数将编码器的输出分数转换为这一分布。

一条路径是一个长度为 TT 的序列:

π=(π1,…,πT),πt∈A∪{∅}.\pi=(\pi_1,\ldots,\pi_T), \qquad \pi_t\in\mathcal A\cup\{\varnothing\}.

CTC 将该路径的概率定义为

P(π∣x)=∏t=1Tqt(πt).P(\pi\mid x)=\prod_{t=1}^{T}q_t(\pi_t).

这种因式分解是一项建模假设:在给定输入表示的条件下,不同位置上的路径符号被视为相互独立。

折叠函数 BB 将路径转换为输出标签序列。它先合并连续重复的相同符号,再移除空白符。这两个操作的先后顺序很重要。路径

(a,a,∅,a,b,b)(a,a,\varnothing,a,b,b)

折叠后得到的是 aabaab,而不是 abab:空白符将两次出现的 aa 隔开,使它们不会被合并。因此,空白符并不等同于普通的空格字符。它表示一个不产生任何输出标签的对齐位置。

对于目标序列 y=(y1,…,yU)y=(y_1,\ldots,y_U),其条件概率为

P(y∣x)=∑π:B(π)=y∏t=1Tqt(πt).P(y\mid x) = \sum_{\pi:B(\pi)=y} \prod_{t=1}^{T}q_t(\pi_t).

单个样本的训练损失为

LCTC(x,y)=−log⁡P(y∣x).\mathcal L_{\mathrm{CTC}}(x,y) = -\log P(y\mid x).

不同路径可以为同一标签分配不同数量的位置、在不同位置放置空白符,或者改变标签出现的位置,同时产生相同的转写结果。训练所鼓励的是提高这些路径的总概率。

折叠规则带来了明确的长度约束。若 RR 表示目标序列中相邻且相同的标签对的数量,则有效对齐必须满足

T≥U+R.T\ge U+R.

例如,目标序列 aaaa 至少需要三个位置,因为其中的两个标签必须用一个空白符隔开。目标序列 abab 则只需要两个位置。不满足这一条件的目标序列在该模型下的概率为零。

因此,CTC 支持可变的持续时长和不确定的边界,但不支持任意改变标签顺序。其对齐沿编码器位置保持单调。编码器可以融合整个输入的信息,但输出标签仍必须沿该序列按目标顺序依次输出。

前向—后向计算与梯度

枚举所有可能的路径需要考察 (∣A∣+1)T(|\mathcal A|+1)^T 个序列。CTC 根据路径在目标序列中推进到的位置对其分组,从而避免这种指数级计算。由此得到的前向—后向算法与概率序列模型中的其他动态规划算法密切相关。

首先,在标签之前、之后及标签之间插入空白符,构造扩展目标序列:

z=(∅,y1,∅,y2,…,yU,∅).z=(\varnothing,y_1,\varnothing,y_2,\ldots,y_U,\varnothing).

其长度为 S=2U+1S=2U+1。令 αt(s)\alpha_t(s) 表示已经过 tt 个输出位置、并终止于扩展目标序列位置 ss 的所有有效部分路径的概率之和。对于非空目标序列,初始化为

α1(1)=q1(∅),α1(2)=q1(y1),\alpha_1(1)=q_1(\varnothing),\qquad \alpha_1(2)=q_1(y_1),

其余值均为零。

在后续位置上,

αt(s)=qt(zs)[αt−1(s)+αt−1(s−1)+δsαt−1(s−2)],\alpha_t(s)=q_t(z_s) \left[ \alpha_{t-1}(s) +\alpha_{t-1}(s-1) +\delta_s\alpha_{t-1}(s-2) \right],

其中,越界项取零,且

δs={1,s>2, zs≠∅, zs≠zs−2,0,otherwise.\delta_s= \begin{cases} 1,& s>2,\ z_s\ne\varnothing,\ z_s\ne z_{s-2},\\ 0,& \text{otherwise}. \end{cases}

这三项分别对应停留在当前状态、前进一个状态,以及跳过中间的空白符。对跳跃的限制确保目标序列中相邻的相同标签不会合并为一个。最终的序列概率为

P(y∣x)=αT(S)+αT(S−1).P(y\mid x)=\alpha_T(S)+\alpha_T(S-1).

可将后向量 βt(s)\beta_t(s) 定义为:给定位置 tt 处的状态为 ss 时,该位置之后所有有效后续路径的概率之和。按这一定义,它不包含已计入 αt(s)\alpha_t(s) 的发射概率。两个终止状态满足 βT(S)=βT(S−1)=1\beta_T(S)=\beta_T(S-1)=1。于是,扩展目标状态 ss 的后验占用概率为

γt(s)=αt(s)βt(s)P(y∣x).\gamma_t(s)= \frac{\alpha_t(s)\beta_t(s)}{P(y\mid x)}.

对所有对应符号 kk 的状态的占用概率求和,得到

Γt(k)=∑s:zs=kγt(s).\Gamma_t(k)=\sum_{s:z_s=k}\gamma_t(s).

若 at(k)a_t(k) 为对应的 softmax 输入 logit,则损失梯度为

∂LCTC∂at(k)=qt(k)−Γt(k).\frac{\partial\mathcal L_{\mathrm{CTC}}}{\partial a_t(k)} = q_t(k)-\Gamma_t(k).

这就将对对齐的边缘化直接与通过编码器进行的常规反向传播联系起来。

对齐计算的时间复杂度为 O(TU)O(TU)。如果只计算前向概率,只需保留相邻两行,即可将工作内存控制在 O(U)O(U);而直接实现梯度计算则需要存储 O(TU)O(TU) 个中间值。这些复杂度不包括编码器的计算开销,也不包括生成字母表上各符号概率的开销。

由于长连乘在浮点运算中会发生下溢,实现时通常使用对数概率和 log-sum-exp 运算,或等效的重新缩放方案。该动态规划算法在其概率模型内给出精确结果,并非束搜索近似。近似主要出现在不受限解码过程中,因为此时并未给出正确的目标序列。

优化与实现

CTC目标函数用对齐方式的后验分布取代外部提供的帧级标签。在训练初期,这些分布可能较为分散:同一转写序列的多种时间位置安排都可能获得不可忽略的概率。随着编码器性能提升,概率质量往往会集中到较少的一组路径上。模型正是通过这种方式,从序列级监督中间接学习时序信息。

一种常见结果是输出呈现尖峰状。空白符在许多位置占据主导,而非空白标签只在相对孤立的位置获得较高概率。这种行为符合目标函数的要求,因为在一个位置以高概率输出某个标签,并在其周围输出空白符,与在更宽的时间区间内连续输出该标签,都可以解释同一个转写序列。损失函数并不要求某个标签在其实际持续的整个时段内都保持高概率。因此,空白符的占比和输出的尖锐程度并不能直接衡量转写质量。

输入长度和目标长度是实现时不可或缺的数据。在一个批次中,较短的输入通常会被填充到统一长度,但填充位置不能被视为有效的编码器输出。同样,目标序列的填充部分也必须排除在转写长度之外。传给CTC的长度必须对应编码器完成所有子采样操作之后的序列。混淆原始音频长度与编码后序列长度,可能导致对齐无效,或者使模型在人工填充的位置上接受训练。

重复标签的约束使长度检查比单纯判断 T≥UT\ge U 更为复杂。如果目标序列包含连续相同的词元,就需要额外的位置插入空白符,将它们隔开。因此,过于激进的下采样可能使某些样本无法对齐,即使其目标长度看起来并不长。无法对齐的样本,其负对数似然为无穷大。有些软件提供选项,可将无穷大的损失及相应梯度置零,但这种处理既不能补回缺失的对齐路径,也不能让该样本提供有效的学习信息。

包括PyTorch和TensorFlow在内的主流框架都提供CTC损失函数。它们的接口在张量布局、接受的是logits还是对数概率、如何表示变长目标序列,以及用哪个索引表示空白符等方面有所不同。目标转写序列通常不包含空白符,因为它属于对齐机制,而不是标签词表。

数值精度同样重要。神经网络编码器在图形处理器上运行时,可能主要采用低精度计算,而对齐递推则采用更高精度进行累加。损失归约的约定——例如直接对各样本的损失取平均,或先除以目标长度再取平均——会改变长短序列的相对影响。这些细节属于优化方案的一部分,而不只是数据格式上的选择:两种实现即使采用相同的数学形式的CTC目标函数,也可能产生不同的梯度尺度或样本实际权重。

解码与语言模型集成

训练时计算的是已知转写结果的概率,而识别时要求解的是

y^=arg⁡max⁡yP(y∣x).\hat y=\arg\max_y P(y\mid x).

最简单的方法是贪心解码,也称最优路径解码:在每个位置选择概率最高的符号,再将得到的路径折叠。这种方法最大化的是单条路径的概率,但通常并不能最大化属于同一转写结果的所有路径的概率之和。

一个包含两个位置的例子可以说明这种差别。假设在两个位置上,空白符的概率均为 0.400.40,aa 的概率均为 0.350.35,bb 的概率均为 0.250.25。概率最高的单条路径由两个空白符组成,其概率为 0.160.16,因此贪心解码返回空字符串。然而,转写结果 aa 的概率为

P(a∣x)=P(a,a)+P(a,∅)+P(∅,a)=0.1225+0.14+0.14=0.4025.P(a\mid x) = P(a,a)+P(a,\varnothing)+P(\varnothing,a) = 0.1225+0.14+0.14 = 0.4025.

这些路径的概率之和超过了贪心解码结果的概率。

束搜索会保留多个尚未完成的候选假设。CTC前缀束搜索将折叠后得到相同输出前缀的对齐路径归为一组,并分别跟踪以空白符和非空白符结尾的路径的概率。之所以需要区分这两种情况,是因为添加重复标签所产生的效果不同:重复的非空白符可以延续当前连续出现的同一标签,而空白符之后的重复则会产生另一个输出标签。剪枝可以限制计算量,但也可能丢弃之后会成为最优解的候选假设。

外部语言模型可以通过如下评分影响解码:

S(y)=log⁡PCTC(y∣x)+λlog⁡PLM(y)+η g(y),S(y)=\log P_{\mathrm{CTC}}(y\mid x) +\lambda\log P_{\mathrm{LM}}(y) +\eta\,g(y),

其中,λ\lambda 控制语言模型的权重,g(y)g(y) 是长度特征或插入特征。gg 的具体定义,包括它统计的是词数还是词元数,取决于解码器。这一评分是一条决策规则,并不天然就是某个归一化条件概率的对数。

词典和有限状态转导器为约束解码提供了另一种途径。它们可以将词元序列与发音、词以及语言模型状态关联起来。字符级系统可以不依赖固定的词级词典,而子词级系统则以更大的输出符号表换取更短的标签序列。

解码器的选择会显著影响识别准确率和运行时间。贪心解码以较低的成本直接呈现编码器的预测;束搜索解码能够汇集分散在不同路径上的概率;语言模型集成则引入外部文本中的信息。因此,报告结果时,需要区分声学模型或视觉模型本身与完整的识别系统。扩大束宽、采用更强的语言模型或引入额外文本所带来的提升,不能完全归因于经过CTC训练的编码器。

编码器架构与流式处理特性

CTC 需要的是一个有序的概率分布序列,而不限定计算这些分布的具体机制。早期系统经常采用循环神经网络,尤其是长短期记忆网络,因为它们能够整合跨越多个输入位置的上下文。双向循环编码器同时利用此前和此后的观测信息来消除标签歧义。

路径概率的因子分解并不意味着位置 tt 处的预测只能看到输入帧 xtx_t。双向编码器可以让每个输出都以整段录音为条件。卷积神经网络可以在不断扩大的感受野内整合相邻图像列或声学帧的信息。Transformer架构可以利用自注意力连接相距较远的位置。保持因子分解形式的是:在以输入为条件的网络输出确定之后,路径符号的概率分布。

这一区别决定了系统的流式处理能力。CTC 对齐算法可以处理有序数据流,但不受限制的双向编码器需要未来的输入。因果循环编码器可以进行增量处理,而分块注意力和有限前瞻则提供了介于两者之间的选择。端到端延迟取决于特征提取、编码器上下文、下采样、标签输出时机以及解码器的决策,而不只取决于 CTC 损失。

时间下采样在语音处理中尤为重要。将编码器序列长度缩减至四分之一,会相应减小对齐问题的 TT 维度,并可能同时降低编码器和损失函数的计算量。但这也减少了可用的对齐位置。输出序列较短的模型可能很适合使用子词标签,却可能无法满足含有大量重复字符的长篇字符级转写所要求的最小长度约束。

在视觉文本识别中,编码器通常将二维文本行图像转换为按水平方向排列的一维特征序列。随后,CTC 将字符标签与该序列中的位置关联起来。这种方式自然适用于阅读顺序一致的单行文本,但本身并不能确定如何阅读多栏文本、弯曲文本或复杂页面。在进入 CTC 阶段之前,可能需要进行图像校正、文本行检测或专门的版面处理。

因此,同一种损失函数可以支持运行方式截然不同的系统:使用完整上下文注意力的离线识别器、采用因果编码器的低延迟识别器,或处理裁剪后单词图像的卷积识别器。训练目标相同,并不意味着它们的内存需求、感受野或响应时间也相同。

应用与标签设计

语音识别是连接时序分类的主要应用领域,因为语音单元按顺序出现,而各单元的持续时间差异很大。输入通常由短时声学特征或从波形中学习到的表示构成。目标可以是音素、字符、子词或词。CTC 无需人工标注每个单元的起止位置,就能学习识别这些单元。

标签词表会改变学习问题的性质。字符词表相对较小,也能拼写出训练转写文本中未出现的词,但会产生较长的目标序列。词级词表产生的序列较短,却需要大量输出类别,而且难以表示未见过的词。子词级的分词与词元化方法,包括字节对编码,则介于两者之间。词元化还会改变哪些相邻标签相同,因而也会改变对齐长度的具体要求。

在光学字符识别中,CTC 支持在不显式切分出单个字符图像的情况下进行识别。文本行编码器可以学到:若干相邻的特征位置对应同一个字符,而空格或间隙的宽度不必固定。手写识别尤其受益于不必严格划定字符边界,因为笔画可能跨字母相连,字符宽度也可能差异很大。史保光、白翔和姚丛提出的卷积循环神经网络方法得到了广泛应用,它将卷积特征、循环序列建模与 CTC 转写结合起来。

当有序的输入视频与有序的符号标签序列配对时,CTC 也可用于连续手势和手语识别系统。单调性假设是否适用,取决于具体要预测的标注序列。从手语视频中识别手语词汇标签,与将手语翻译成书面语言,是两种不同的任务;翻译可能涉及语法上的语序调整,而普通 CTC 无法直接表示这种调整。

生物序列分析是另一个应用领域。在纳米孔测序中,电信号测量值随分子穿过纳米孔而变化,而期望的输出则是核苷酸序列。CTC 无需固定的事件分割,就能将许多信号位置映射到较短的碱基序列。重复碱基尤其具有挑战性,因为多个相同的输出标签必须加以区分,而不能合并,因此用空白符分隔重复标签的对齐方式至关重要。

在这些领域中,该方法能否发挥作用,取决于输入与输出的顺序关系是否相容,以及编码器的分辨率是否足够。它不要求输入和输出具有相同的采样率,也不要求每个符号具有固定的持续时间。但它要求能够按顺序遍历编码器位置来表示目标,并且位置数量足以容纳所有标签以及必要的重复标签分隔符。

与其他序列模型的关系

CTC 与隐马尔可夫模型在数学方法上有重要的共通之处。两者都能表示潜在对齐,并使用前向—后向递推对所有对齐求和。不过,在 CTC 中,神经编码器直接给出以输入为条件的标签及空白符概率分布,而折叠映射则决定哪些对齐是允许的。标准 CTC 既没有独立学习的状态转移概率,也没有显式的持续时间分布。

停留在扩展目标序列的同一状态上,相当于经过一个自环,允许一个符号占据多个位置。这类似于简单状态模型对持续时间的处理,但其含义与生成式声学模型有所不同。这段持续时间对应的概率由神经网络的一系列预测给出,而这些预测可能依赖于广泛的输入上下文。因此,CTC 并不只是将状态重新命名的隐马尔可夫模型,尽管两者都可以通过加权路径计算来理解。

CTC 的一个核心局限是,它不直接以先前输出的标签为条件。相比之下,采用自回归解码器的编码器—解码器架构建模的是

P(y∣x)=∏u=1UP(yu∣y<u,x).P(y\mid x) = \prod_{u=1}^{U}P(y_u\mid y_{<u},x).

其解码器能够学习输出符号之间的显式依赖关系,而注意力机制可以为每个输出步骤选择相关的编码器表示。这类系统不必遵循 CTC 固定的单调折叠规则,因此适合处理涉及重排序的任务,包括机器翻译。

循环神经网络转导器通常简称为 RNN-T,也可用于比较。它对所有单调对齐进行边缘化,同时引入一个以先前输出标签为条件的预测网络。其对齐格既有输入时间维度,也有输出标签维度:空白符推进时间,标签则推进输出序列。这与 CTC 不同:在 CTC 中,路径的每个位置都消耗一个编码器时间步,且该位置的分布不依赖于已解码的前缀。因此,转导器很适合流式识别,但其额外的预测网络与联合网络计算也改变了训练和解码的成本。

混合系统将这些方法结合起来。CTC—注意力联合训练对共享编码器同时施加 CTC 损失和注意力解码器损失。CTC 鼓励单调对齐,而解码器则学习输出之间的依赖关系。在推理时,CTC 前缀分数也可以参与束搜索。另一种方案是使用 CTC 快速完成第一遍解码,再用计算成本更高的解码器重新评分。

上述关系有助于区分三个有时会被混为一谈的选择:编码器架构、对齐模型和输出依赖模型。采用 Transformer 编码器的 CTC 系统仍然是 CTC 系统;在编码器内部使用注意力,并不会使其变成自回归注意力解码器。

评估、对齐的解读与局限性

识别质量通常在解码后衡量,而不是仅凭 CTC 损失来判断。语音系统通常报告词错误率,

WER=S+D+IN,\mathrm{WER}=\frac{S+D+I}{N},

其中,SS、DD 和 II 分别表示相对于包含 NN 个词的参考转写文本所发生的替换、删除和插入次数。字符错误率则以字符为单位进行类似计算。这些指标基于编辑距离,反映最终转写结果的质量;而 CTC 损失衡量的是对所有对齐求和后,模型赋予参考转写文本的概率。

这两个目标不一定在每个样本上都同步改善。模型可能提高参考转写文本的概率,却不改变解码器排名第一的输出。反过来,概率的微小变化也可能改变最优候选结果,从而大幅减少错误数。评估还取决于文本规范化、标点处理、大小写、切分方式,以及是否使用外部语言模型。因此,测试集及其评分流程所规定的内容,远不止输入录音本身。

在转写文本已知的情况下,CTC 可以生成对齐结果。维特比算法将求和替换为求最大值,以寻找与该转写文本相容、概率最高的路径。相比之下,前向—后向算法得到的后验概率描述的是位置上的不确定性。这些结果可用于强制对齐和转写文本同步,但解读其时间信息时需要谨慎。最可能的输出位置,不一定就是某个语音或字符在实际输入中的起点或终点。

尖峰式输出使这一区别尤为重要。全上下文编码器可能先利用后续信息,再为较早的标签位置赋予高概率;不同的训练目标也可能在不改变识别序列的情况下,使输出时刻发生偏移。因此,在流式应用中,需要明确评估延迟,而不能根据转写准确率推断延迟。从 CTC 路径推导词边界时,也可能需要另行约定如何分配词间的空白符。

标签独立性假设限制了对序列的直接建模能力。尽管输入上下文能够编码大量语言信息,CTC 输出层却无法直接以实际的候选序列前缀为条件,生成下一个概率分布。因此,对于有歧义的声学信号、外形相似的字符以及长距离语法约束,引入外部语言模型或其他解码器可能有所帮助。与此同时,较强的语言先验可能偏向看似合理的文本,而非不常见的姓名或罕见序列,从而改变识别错误的分布特征。

最后,CTC 概率以具体模型和标签体系为条件,并不会天然成为经过校准的正确性度量。空白符概率并不是整个转写结果的置信度分数,较高的路径概率也不等同于较高的序列概率。在分布偏移下的鲁棒性、面对陌生说话人或书写风格时的表现,以及置信度估计的可靠性,都必须与对齐的可行性和训练损失分开评估。