NLP 2.6 HMM介绍，viterbi算法，F/B算法以及隐变量模型

1、时序模型

非时序类数据：

• 图片
• 一个人的特征
  时序类数据：沿着时间的维度变化的，长度是不确定的
• 股票价格
• 语音
• 文本
• 温度的变化

2、一些时序模型

• HMM/CRF:传统模型
• RNN/LSTM

3、HMM的介绍 Hidden Markov Model

• 状态序列 latent variable
• 观测序列 observed
  

4、HMM的应用举例

4.1 仍不均匀硬币

• 初始概率分布
• 观测概率分布
• 状态转移概率分布

4.2 词性标注

每一个单词都是一个观测值，它的隐状态就是对应的词性。当前时刻的隐状态由上一时刻的隐状态决定。

4.3 语音识别

5、HMM的参数

• pi：初始概率分布：初始状态的概率， 离散型
• B：观测概率分布：从当前隐状态转移到观测的概率， 对于连续的值，使用GMM
• A:状态转移概率分布:从当前状态转移到下一个状态的概率

6、 Two major tasks

• 给定模型的参数，找出合适的z： Inference/decoding: viterbi 算法解决
• 估计模型的参数$\theta$：
  1、 complete case，给定观测序列，给定状态序列
  2、incomplete case：给定观测序列，状态序列未知：使用EM算法

7、 HMM的inference问题

Finding best Z

7.1 Naive approach

直接罗列出所有可能的结果,计算似然概率

7.2 Viterbi: 本质是一个动态规划的算法

每一个zi只会和前一个z有联系。

8、F/B Algorithm forward & backward

• F/B:估计模型的参数 pi, A,B

8.1 Forward algorithm

目标计算：
$$P(z_k|x_{1:k})$$

初始化：

8.2 Backward 算法

9 隐变量模型和EM算法—— Latent Variable model and EM

9.1 Data Representation: 数据的表示

PCA降维

9.2 Latent Variable models：生成模型 generative model

• 隐状态：可以是离散的也可以是连续的，未知的
• 观测值：由隐变量生成的，已知的

观测到的图片，由若干隐状态生成，性别，头发颜色，姿势。

生成模型：LDA,GAN,VAE

10、complete vs incomplete case

• complete case: (z,x)is observable
• incomplete case:(x) is observable,z is unobservable