HMM, CRF

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/MrWilliamVs/article/details/89338231

隐含马尔科夫模型(hidden Markov model, HMM), 可以用于标注问题的统计学习模型,
由隐藏的马尔科夫链,随机生成观测序列的过程,属于生成模型
关于时序概率模型

熵,最大熵,是基础。
熵:表现了系统所处状态的不确定性程度。平均信息量(平均不确定程度)。
最大熵:保留全部的不确定性,将风险降到最小。指数函数形式,形式漂亮简单,实际实现计算复杂。

马尔科夫链:状态空间中从一个状态到另一个状态的转换的随机过程。该过程具备“无记忆”的性质,下一状态的概率分布,只由当前状态决定。这种“无记忆性”叫做马尔科夫性质。

HMM中的三个基本问题:

  1. 概率计算问题:给定模型(初始状态概率,状态转移矩阵,观测矩阵),和观测序列O,计算在该模型下,观测序列O出现的概率。

  2. 学习问题:

  3. 预测问题:

猜你喜欢

转载自blog.csdn.net/MrWilliamVs/article/details/89338231
CRF