python实现维特比算法

HMM模型在很多领域都是很有用的

比如语音识别 nlp中的分词命名实体识别词性标注都需要用到HMM模型，并且是用到HMM模型中的预测算法，维特比算法。

这里我不详细讲维特比算法，主要是讲一下维特比算法的简单实现

# !/usr/bin/env Python3
# -*- coding: utf-8 -*-
# @Author   : Meng Li
# @FILE     : hmm_self.py
# @Time     : 2022/4/15 16:39
# @Software : PyCharm
# 自己实现的HMM训练的模型
import time

import numpy as np

A = np.array([[0.5, 0.2, 0.3],
              [0.3, 0.5, 0.2],
              [0.2, 0.3, 0.5]])

B = np.array([[0.5, 0.5],
              [0.4, 0.6],
              [0.7, 0.3]])

PI = np.array([0.2, 0.4, 0.4])


def viterbi(obs):
    state = PI * B[:, obs[0]]  # 求得第一个观测值对应的三个状态并作为初始状态
    sequence_indices = np.zeros((len(obs), len(A)), dtype=np.int32)  # 创建一个矩阵 用来保存维特比算法推导过程中的最优节点

    for t in range(1, len(obs)):
        state = state.reshape(-1, 1)
        transition_score = (state * A).max(axis=0)  # 求解状态转移后的矩阵的每一行的最大值 每一行最大值表明 每一个状态最大可能性转移到的状态
        print((state * A).argmax(axis=0))
        sequence_indices[t] = (state * A).argmax(axis=0)
        state = transition_score * B[:, obs[t]]

    final_sequence = [state.argmax()]
    for t in range(len(obs) - 1, 0, -1):
        state_index = sequence_indices[t][final_sequence[-1]]
        final_sequence.append(state_index)
    print("final_sequence: {}".format(final_sequence[::-1]))

    return final_sequence[::-1]


if __name__ == '__main__':
    obs = [0, 1, 0]  # red white red
    viterbi(obs)

如代码所示，A矩阵表示的是状态转移矩阵，矩阵B表示的是观测矩阵

状态转移矩阵A 的大小是3×3 ，表明有三个状态，并且三个状态之间存在转移关系，矩阵就是存储的表示这种转移关系的概率值。这里的状态值在nlp领域里面可表现为BMES性质的标签值，也可表现为词性的标签值如 v/动词 n/名词 adj/形容词 adv/副词等等

观测矩阵B 表示的是每一个状态表现为每一个观测值的概率值，这里B矩阵的大小是3×2 ，表示总共有三个状态并且标下为两种观测值。这里的观测值在nlp中可表现为分词(命名实体识别)或者单个字(分词)

首先看veterbi函数

state = PI * B[:, obs[0]]  # 求得第一个观测值对应的三个状态并作为初始状态

这行代码主要表示的是初始化状态向量也就是 Pi 值

sequence_indices = np.zeros((len(obs), len(A)), dtype=np.int32)  # 创建一个矩阵 用来保存维特比算法推导过程中的最优节点

这行代码主要是初始化一个矩阵，其大小为 [len(obs) ,len(A)] len(obs)为句子长度，也可以理解为状态的转换次数，len(A) 表示的是状态的数量，在代码里面初始化的是3

state = state.reshape(-1, 1)

这里把行向量转换为一个列向量为了和后面的矩阵进行相乘

state : [0.2, 0.3 , 0.5 ] --> [0.2,0.3.0.5].T 这样的话列向量的每一行就表示当前step 迭代到当前状态的概率值

sequence_indices[t] = (state * A).argmax(axis=0)

这一行就是获取当前状态以最大概率值转移到的下一个状态

并将所有的前一刻的状态最有可能转移到的下一个状态的索引放在矩阵中

final_sequence = [state.argmax()]

这里是获取最后一的状态概率最大值

    for t in range(len(obs) - 1, 0, -1):
        state_index = sequence_indices[t][final_sequence[-1]]
        final_sequence.append(state_index)

这里是回溯，从最后一步的最大值开始往回找该最大值经过的节点，并将节点保存在列表中进行返回

python实现维特比算法

猜你喜欢