CRF 및 HMM
숨겨진 마르코프
원칙
코드 구현
조건부 랜덤 필드
원칙
CRFs 연장 얻어진 무향 그래프 (마르코프 네트워크)의 가능성없이 확률 분포 $의 P (Y) 인 $ $ C $ $ 결합 확률 맵에 모든 그룹의 최대 확률 맵의 전위의 함수일 수도 \ Psi_ {C}은 (는 Y_ {C}) $, 제품 형태, 즉 Y_ $ {C}를 $ $ C $에 대응하는 랜덤 변수이며, 대표
$$ P (Y) = \ FRAC {1} {Z} \ prod_ {C} \ Psi_ {C} (Y_ {C}) $$
는 Z $ $ 정규화 인자 $ P (Y)가 $ 확률 분포되도록된다. 함수 $ \ Psi_ {C} (Y_는 {C}) $ 엄격히 긍정적을 보장하기 위해, 일반적으로 지수 함수로 정의된다.
$$ \ Psi_ {C} (Y_ {C}) = EXP \ 좌회전 (-E (Y_ {C}) \ 오른쪽) $$
공항의 조건 확률 변수 X- $ $ 조건을 부여되면, Y 확률 변수 문제에 나타낸 조건 랜덤 선형 사슬에 정의 여기 제시 $ MRF를, $ $ $는 입력을 X-나타낸다 다음과 같이 관찰 순서는 $ $는 상태 시퀀스 또는 마커의 시퀀스에 대응하는 Y 출력을 나타낸다.
다음과 같이 조건부 확률 모델 조건부 랜덤 필드는 다음과 같습니다
$$ P | 왼쪽 (Y, X) = \ FRAC {1} {Z (X)} EXP \ (\ sum_ {I, K} \ lambda_ {K} t_ {K} (Y_ {I-1} Y_ { I}, X, I) + \ sum_ {I, L} \ {1} mu_ S_ {1} (Y_ {I}, X, I) \ 오른쪽) $$
주 특징은 $ t_ {K} $는 현재 위치 및 이전 위치, $ S_ {1} $이 특성 함수의 교차점에 정의에 따라 기능의 전달이라는 에지 특성 함수에 정의 된 현재 위치에 따라. 일반적으로, 특성 함수 $의 t_ {K} $ 및 $ S_ {1} $ 값은 1 또는 0이고 , $ \ lambda_ 및 {K} $ $ \ mu_ {1} $의 가중치에 대응하는 특성 함수이다.
CRFs 실제로의 시계열 데이터에 정의 된 로그 - 선형 모델
코드 구현
면접 질문
세 가지 기본 질문에 숨겨진 :
(1) 확률 계산
(| \ 람다 O) $ 모델 $ \ 람다 $ 조건에서 관찰 순서 $ O $, 확률 $의 P를 표시 해결 모델과 관측 순서를 감안할 때. 즉, 어떻게 모델과 관측 순서와 일치의 정도를 평가하기 위해?
(2) 학습 문제
$ O = 관측 시퀀스 주어 (O_ {1} O_ {2}, ..., O_ {T}) $ 추정 모델 파라미터 $ \ 람다 = (A, B, \ PI) $, 그러한 $ P를 ( O | \ 람다) $ 최대. 그것이 최선의 관측 데이터를 설명 할 수 있도록 즉, 어떻게 모델을 학습합니다.
(3) 예측 문제
또한, 문제를 디코딩과 같은 공지. 미국 $ I = (I_ {1}, I_ {2}, ... I_ {T}) $의 가능성이 가장 높은 순서를 해결 알려진 모델 $ \ 관측 순서와 람다 $ $ O $. 즉, 어떻게 관찰 순서에 따라 숨겨진 상태 시퀀스를 추정한다.
기본 알고리즘은 세 가지 문제를 해결하기 위해 :
(1) 앞의 알고리즘에 백업 할
(2) 바움 - 웰치 알고리즘 (EM)
(3) 비터 비 알고리즘
관계 HMM, CRF와 LR
(1) 및 CRF LR은 CRFs는 회귀의 버전을 직렬화 로그 - 선형 모델이다. 로지스틱 회귀는 분류에 대한 로그 - 선형 모델은 선형 모델 CRFs 라벨의 로그 시퀀스이다.
(2) HMM 모델 식이고, LR 및 CRF는 차별적 모델은
(3) HMM은 작업 시퀀스 표시 할 수 있습니다. 각 HMM 모델은 CRF에 의해 표현 될 수 있으며, CRF는 기능의 넓은 범위가 어떤 기능 함수 가중치 위해 사용될 수있어서, 추가 량을 정의 할 수있다. CRF HMM보다 강하다.