语音识别之CTC，RNA，RNN-T，Neural Transducer，MoChA模型详解——语音信号处理学习（四）

参考文献：

[1] Graves A, Fernández S, Gomez F, et al. Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks[C]//Proceedings of the 23rd international conference on Machine learning. 2006: 369-376.

[2] Graves A. Sequence transduction with recurrent neural networks[J]. arXiv preprint arXiv:1211.3711, 2012.

[3] Jaitly N, Le Q V, Vinyals O, et al. An online sequence-to-sequence model using partial conditioning[J]. Advances in Neural Information Processing Systems, 2016, 29.

[4] Chiu C C, Raffel C. Monotonic chunkwise attention[J]. arXiv preprint arXiv:1712.05382, 2017.

[5] Speech Recognition - CTC, RNN-T and more (part 3)_哔哩哔哩_bilibili

[6] 2020 年 3月新番李宏毅人类语言处理独家笔记 CTC, RNN-T & More - 4 - 知乎 (zhihu.com)

[7] 语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记 - 知乎 (zhihu.com)

一、Connectionist Temporal Classification（CTC）

1.1 机制

1.2 训练上的问题

1.3 CTC 是否真的可行？

1.4 CTC 存在的问题

二、RNN Transducer（RNN-T）

2.1 Recurrent Neural Aligner（RNA）

2.2 RNN-T，RNA 再改善

2.3 RNN-T 基于 RNA 的改善（添加Language Model）

三、Neural Transducer

四、Monotonic Chunkwise Attention（MoChA）

五、几大模型总结

CTC 模型在2006年就出现了，很长一段时间大家并没有用，因为CTC有比较大的问题。

一、Connectionist Temporal Classification（CTC）

1.1 机制

CTC 可以做到 on-line streaming speech recognition，也就是所谓的线上实时语音识别，因为其采用了单向的RNN架构。
CTC 只有一个 Encoder，Encoder 将输入的 xi 转为 hi 后，再通过线性的 Classifier（即先进行transform，然后再softmax）得到所有token的distribution
由于每个acoustic features实际上都非常小，其包含的信息可能无法构成一个 token，因此它添加了新的机制，在 token 中添加新的 token：∅
- 在不知道输出什么的时候就可以输出这个token ∅
- CTC 在忽略降采样（down sampling）的情况下：输入 T 个acoustic features，就会输出 T 个tokens
- 最后，CTC 会将重复的 tokens 融合，将 token ∅ 删除。

1.2 训练上的问题

那么 CTC 应该如何训练呢，理论上来说应该计算每个输出的 token distribution 与正确的 one-hot vector的交叉熵，但是实际上由于其 acoustic features 太短，输出的token 远多于正确的token数量，你并不知道每个正确的 label 到底是什么。
所以很大程度上，我们需要自己制造出可以拿来 training 的 label。
这样自己制造 label 的操作我们叫做 Alignment。
那么这就导致，实际上会有很多种 Alignment 的方法，比如下图，对于4个 token 输出，truth 只有两个 token（好棒），我们有很多种 Alignment 的方法。那么我们应该如何选择 label 来进行训练呢？最后的结果是：我全都要！将所有可能的 Alignment 结果拿来进行训练。

1.3 CTC 是否真的可行？

下面是一些使用不同的 token 通过 CTC 进行语音辨识的结果：
下面是针对不同的Model，使用相同的数据集，进行的对比实验。
- 其中，WER就是错误率。
- 我们不难看出，CTC后面必须要加上进一步的处理（Language Model）才能看起来不错
- 因此很多人甚至将 CTC 踢出了 end2end model 的行列中去。

1.4 CTC 存在的问题

我们可以将 CTC 最后的线性分类器视为 Decoder，这些 Decoder 一次只吃一个 h vector，输出一个 token，且每个 Decoder 都是独立的
那么就会遇到下面这样的问题：
- 前三帧确实都对应token “c”，其共同组成了一个 “c” 的发音
- 由于每个 Classifier 都是独立的存在，如果第一帧识别为 c ，第二帧听不懂识别为 ∅，第三帧又识别为 c
- 那么就会导致 CTC 结果类似于结巴的存在，最后输出为 “cc”
- 但是我们可以期待 Encoder 能够学习到，当第一个 acoustic feature 识别为 c，第二个识别为 ∅ 后，第三个在识别中能够适当降低 c 的概率。

实际上，还有一种方法，那就是将 LAS 和 CTC 一起结合起来，在 LAS 进行 Encoder 的过程中同时进行 CTC，同时训练两个模型，同时有两个 Loss。实际上，我们就可以把 CTC 看作 LAS 的 Encoder。

二、RNN Transducer（RNN-T）

2.1 Recurrent Neural Aligner（RNA）

虽然 RNA 比 RNN-T 要晚一点发表，但是从模型的衍化角度来讲，RNA 是介于 RNN-T 和 CTC 之间的过渡

LSTM（长短时记忆网络，Long Short-Term Memory）：RNN 的变体，专门设计用于处理序列数据，如文本、语音和时间序列。与传统的 RNN 相比，LSTM 具有更强的记忆能力和防止梯度消失问题的机制，使其在处理长序列数据时表现更好。

为了解决 CTC 中，每个 Classifier 都是在独立识别的弱点
RNA 其实就是将 CTC 的 Linear Classifier 换为 LSTM

2.2 RNN-T，RNA 再改善

RNA 再改动改动就能成为 RNN-T。

考虑一个问题，我们是否能将一个 vector map 识别为一串 token ？比如说听到了 “/θ/、/ð/”，识别为 th
RNN-T 就可以这样，RNA是只输入一个 vector，输出一个 token，而 RNN-T 却可以在同一个 vector 上一直输出 token，直到model觉得满意为止（可以以 ∅ 为号来作为结束标志）
比如下面这个例子：
- 这里，每一个 ∅ 都代表一个 acoustic feature 的识别结束，下一个识别的开始。
- 因此，实际上，原始输出中，将会有 T 个 ∅ 存在。（这里的 T 就是之前提到的，输入的 acoustic feature 数量）
但是，这也就导致了和 CTC 一样的训练上的问题，即数据集的 Alignment 问题。给的数据是没有何时用 ∅ 的，那也就会导致下面的情况：
- 在这里，输入了4个 acoustic features，对应着 “好棒” 的语音，然而，我们并不知道 ∅ 应该放在什么位置
- 那么 RNN-T 选择的应对方法和 CTC 一样，穷举，全都训练！

2.3 RNN-T 基于 RNA 的改善（添加Language Model）

实际上，RNN-T 并未像 RNA 那样，将原来的线性分类器替换为一个 RNN，而是单独训练了一个RNN模型作为LM，来实现分类器互相之间的 dependency。
- 也就是图中，最上方的蓝色方块。它会接收一个上一个生成的token，去产生一个输出，来影响下一个 token 的产生
- 不过，这个RNN选择无视 ∅ 符号，这里有几点原因：
  - 首先，这实际上是作为了一个 LM 的角色，它的输入就只能是 token。在训练它的时候，是先使用大量的文字做 pre-training，但是文字中并没有 ∅ 符号，因此将 ∅ 忽略。
  - 其次，我们在前面说过，对于 Alignment 问题，我们选择了穷举，也就是必须要使用一个好的演算法，这就需要一个无视 ∅ 的LM。因此，这个设计是为了模型训练而设计的。而模型采用的演算法我们将在下面介绍。

三、Neural Transducer

CTC, RNA, RNN-T 每次只读一个 acoustic feature，而 Neural Transducer就是一次读很多的 acoustic features

Neural Transducer 在一个window（自己设定大小）中一次读很多个 acoustic features，通过注意力机制进行处理，最终输出一串 token。
注意，在使用 attention 时，仅在一个 window 中使用。
window 应该有多大？原论文实验结果：
- 有 attention 还是不错滴~
- 这里补充一点，上面的 LSTM-ATTENTION 就是一个之前介绍的 Location-aware attention。

四、Monotonic Chunkwise Attention（MoChA）

MoChA 在 Neural Transducer 的基础上，将窗口移动的步数变为了动态的。

MoChA 重点在于多加了一个Module，这个Module和注意力机制类似：
- Input：两个 vector，隐藏状态与 acoustic feature
- Output：yes/no，即窗口是否放在这里
推理过程：
- 首先，先一个一个 frame 输入，看看是否要将窗口放进来
- 放下窗口后，运行attention机制，生成一个 token。注意，这里一个窗口只生成一个 token，且不会输出 ∅ 。
- 然后再进行之前的步骤，继续移动窗口并看是否要将窗口放下来，放下来以后继续输出文字。