HMM(隠れマルコフ)の導出(上) - ビタビアルゴリズム隠された変数

理解

EMアルゴリズムのその部分では導入の考えに少し似て「隠れた変数」(潜在変数)を。

観察試料の場合:

\(X_1、X_2、X_3、... x_nに関する\)

の存在に対応する潜在変数:

\(Z_1、Z_2、Z_3、... Z_N \)

それは別の表現の観測結果として理解することができ、唯一の最終結果を確認するために、コインの内側を投げる前に、EMのように、視覚的に観察することは困難であるが、生産コインの結果であるかわかりません。

HMMにおいて、我々は、\(Z_1、Z_2、... Z_N \) と呼ばれる状態に対応する生成、異なる状態、観測値、および状態間の状態遷移(行列)であります

コインケースを投げます

前の仮定と同様にEMは、2枚の硬貨A、B、既知のイベントがあり、フェイスアップの可能性があった(\ mu_1、\ mu_2 \ \ ) 、すなわち:

\(A:\ P(正)= \ mu_1; \ P(負)= 1- \ mu_1 \)

\(B:\ P(正)= \ mu_2; \ P(負)= 1- \ mu_2 \)

今、コインを投げ始めた、我々は唯一の最終結果を見ることができますが、生産コインの結果であるかわかりません

NOR投げは、一定の確率分布(で、スロー状態遷移)が、それを知りません

私たちは、以下の質問との関係に焦点を当て:

  • 想定モデルパラメータを知っているあなたが知っていると仮定して(Z 1-> X1、Z2-X1確率が低い、どのような観察の背後にあるスラストリバー・ロジック

ビタビアルゴリズム解決のための

  • 唯一のパラメータを推定する方法、観測を知っている(ここでは遷移確率、およびzを推定する「正・負」の結果です\(\ mu_1、\ mu_2 \ )

目の前で利用可能EMアルゴリズム解決します

  • パラメータは、観測値からそれを行う方法を、知られている予測

見通し

需要:計算\(P(正、正、正と負、正と負)\)

溶液:すべての状態を考慮して(\ S)\、即ち:\(\ SUM \ limits_ {S} P(正、正、正と負、正と負の| S)、P(S)\) =>利用可能なDPアルゴリズム解決(動的プログラミング

知られている独自のコイン「ヘッドアップ」を生成する確率、放出確率(放出確率)

これはコイン次の投球を規則性を選択するために、どのように\(\シータ\)と呼ばれる遷移確率(のトランジション確率)

最初の状態は、ああ、と呼ばもあり、初期状態の初期化も

遷移行列は、EMアルゴリズムによってその背後にあるロジックを見つけるために学校を渡すことです

初期状態では、そのようなA、Bの選択の0.3確率を選択するであろう0.7の確率である第1の実験では、ポリシーに対応し、その後の背面に係る\(\シータ\)を選択するためのパラメータダイ

溶液プロセスパラメータのコアに見出される、又は使用することができるEMアルゴリズムをうん、ニーズは、3つのパラメータを解く:初期状態、発光確率遷移行列を

ケース2の音声分析

実際には、私たちのそれぞれの単語は、音声の背後にあるロジック、つまりそこにある、と述べた文法が。しかし、私たちは通常、それに焦点を当てていない、しかし、そこにあります

隠された変数:メイン述語+オブジェクト+

観察:私は+あなた+考えます

  • 隠された変数、すなわち順序「SVO」の場合は、そこに法律があり、かつ法律は私たちが呼んで状態遷移行列

  • そして、私たちが直接聞いた、「私はあなたにしたいです」

したがって、音声HMMは、分析に使用されます

EMの一部は、実行する事はすることで、私はあなたを考えるの後ろに発見するために、そのような文をSVO演説法

一部は、モデルによって予測され、新たな文を生成するために、かなり良いパラメータです。

これは、ボットを作成することにある感じではありません

HMMのパラメータ推定

\(\シータ=(A、B、\ PI)\)

5つの状態があると仮定し、同じコイン2を投げることです

\(\ PI \) のような初期状態を表し、\(\ PI = [0.8、B、C、D、E] \)を

Aは、2つの状態の遷移行列を表し、5×5の正方行列であります

5X2のマトリックス; - Bは、放出確率(>観測確率値暗黙のルール)を表します

音声分析の一部ならば、行列が非常に大きい、との観測がある場合は、連続タイプあなたは確率分布を記述するために使用する必要があります。

HMM、解決策は、3つのパラメータを必要とし、二つの主要な段階、またはその二つの重要なポイントがあります。

  • 与えられたモデルのパラメータは、最適Z =>推論(推論処理)を識別します
  • モデルパラメータの推定(\ \シータ\) =>パラメータ推定(推定処理)

最高の状態Z - 列挙方法

Zは、変数を隠されています。

ああ、モデルパラメータが知られていることを条件とします。

ほとんどを考える一つの方法は、ある列挙法、すべての可能なzは最高の1 Z状態を選択し、列挙されています。

何を、最高の状態であることであることの最大のパラメータの最尤推定値

具体的には、どのように実際にはZ = 1、1、1、1、1を想定し、それを選択します。

\(P(X、Z)= [P(Z_1 = 1)、P(Z_2 = 1 | Z_1 = 1)、P(Z_3 = 1 | Z_2 = 1)、P(z_4 = 1 | Z_3 = 1)、P(z_5 = 1 | z_4 = 1)] \\ * [P(X_1 | Z_1 = 1)、P(X_2 | Z_2 = 1)、P(X_3 | Z_3 = 1)、P(x_4 | z_4 = 1)、P(x_5 | z_5 = 1 )] \)

同様に、HAを簡略化するために、その状態を想定し、次に3、Z = 1,3、2を有しています。

\(P(X、Z)= [P(Z_1 = 1)、P(Z_2 = 3 | Z_1 = 1)、P(Z_3 = 2 | Z_2 = 3)] * [P(X_1 | Z_1 = 1)、P(X_2 | Z_2 = 3)P(X_3 | Z_3 = 2] \)

....

死ぬ最後に、選択された最大状態Z(ビット最大事後確率を求めて所定のZを見つける、など。\(P(Z | X)= \ FRAC {P(Z、X)}、{P(X)} \)のみの分子のpに興味があるよう分母、(Z、X)をすることができますが、P(X)を含む計算は非常に面倒であり、我々が目指すは、p(zの最大化することである| X)を=>ウォッチP(Z、X)であること考えることができない、P(x)が必要)

ゴール指向と数学的な考え方は、ああ、この相はダウンモデルパラメータを解決するために、すべての事情を知っていたことになっていることが最も重要な、ノートです

ディスクリート型のために、すなわち、ベクトルへの状態対応は、異なる(平均、分散)と共に使用することができる放出確率を推定するガウス分布であり、各状態は、パラメータ、ガウス分布に対応している(\(\ MU、\シグマ)\) 、)、B モデルである(学校の外でもあります

最高Z状態 - ビタビアルゴリズム

それとも少しは良く、ビタビ前の列挙があるよりも、動的プログラミングアルゴリズム。

Z_1 Z_2 Z_3 z_4 z_5 z_6 Z_N

1 XXXXXXX

2 aaxxxxx

jxxaaxax

... xxxxaxa

mxxxxxxx

我々は状態の解を必要とし、行が欲しかった各状態のすべての値を表すことを柱手段

このように、実際には、私は最高のzはZ1 ... Z_N選択することです需要最適なパスを、ので、このパスの値は、それは、共同確率pであることを(X、Z)は、最大

そう、その質問は見つけるために、パス上に、最適な経路を見つけるために、となり、あなたは1-OHの変数を定義するために、動的プログラミングアルゴリズムを使用することができます。

\(\ Delta_k(J)\)

これはZ_1 z_k z_kの状態から状態とのj番目の行の値を示しているノードへの最良のパスの値を

\(\デルタ_ {K + 1}(J)\)

その状態の各値の前z_k(行)に関連していると表すZ_(k + 1)最高の状態が、そう直進セグメンテーション

\(\デルタ_ {K + 1}(j)= maxの\)

\(\ delta_ {K(1)} +ログ\ P(Z_ {K + 1} = J | z_k = 1)\)

\(\ delta_ {K(2)} +ログ\ P(Z_ {K + 1} = J | z_k = 2)\)

\(\ delta_ {K(3)} +ログ\ P(Z_ {K + 1} = J | z_k = 3)\)

...

\(\ delta_ {K(M)} +ログ\ P(Z_ {K + 1} = J | z_k = N)\)

すべての行は、実際には同じ値であるため、実際には、打ち上げのすべての確率が、そこに省略することができています

少しXGBoostと等全プロセス。の計算で\(\ delta_1 .... \ delta_n \ ) 、それ以降の各値のためのライン、アウト計算する前の値であり、これはされているバック・プロセスにフロント全て、それを循環した後に、(それが2次元テーブルによってカラムに充填するようなものです)。

実際には、からの最終評価、完全うん最適なパスを描画するために、最後の列の値は、ノードの位置や場所、後ろからそのノード「トレーサビリティ」の最高値を選択します

これにより次いでバックに前方及び上記最終応答Z(仮定)を書き込み、Z = 2,2、.j..j..j)

これまでのところ、HMM解決の最後の部分に推論について、そして、パラメータ推定に部分的に導出されます。

おすすめ

転載: www.cnblogs.com/chenjieyouge/p/12105188.html