참고 도서 제인 로지스틱 회귀와 파이썬 코드 구현 .
편미분 손실 함수 로지스틱 함수 $ \ FRAC {1} {m이다 } \ sum_ {I = 1} ^ {m} (H_ \ 세타 (x_i로부터) -y_i) x_i로부터 ^ j 개의 $, 의 $ \ 세타 $ 그래서 업데이트는 다음과 같이 쓸 수있다 : $ \ theta_j = \ theta_j- \ 알파 FRAC {1} {m} \ sum_ {I = 1} ^ {m} (H_ \ 세타 (x_i로부터) -y_i) x_i로부터 ^ j 개의 $ \ 도출 최대 우도 추정을 사용하여 특정 프로세스가 참조 원본을 .
다음과 같이 파생 :
다음 1) 로지스틱 방정식은
$$ g (z) = \ FRAC {1} {1 + E ^ {-} Z} $$
중
$$ Z = {\ 세타} _ {0} {X} _ {0} + {\ 세타} _ {1} {X} _ {1} + ... + {\ 세타} _ {N} {X } _ {N} $$
벡터는 다음과 같이 표현
$$ Z = {\ 세타} ^ {T} X $$
2) 목적 함수 수식
예측 기능
$$ H_ \ 세타 (X) = g (\ 세타 ^ 송신) = \ FRAC {1} {1 + E ^ {- \ 세타 ^ 송신}} $$
H_ 함수 $ \ 쎄타 값 (X) $ 나타내는 특별한 의미를 갖는 확률이 촬영 결과를 따라서 등 각각의 입력 X 클래스 1과 0의 분류 결과의 확률은 다음과 같다 :
$$ P (Y = 1 | X; \ 세타) = H_ \ 세타 (X) \\ P (Y = 0 | X; \ 세타) = 1 H_ \ 세타 (X) $$
상기 두 식들은 함께 기록
$$ P (Y | X; \의 쎄타) = (H_ \ 세타 (X)) ^ Y (1-H_ \ 세타 (X)) ^ {- 1}, Y $$
3) 우도 함수를 타고
$$ L (\ 세타) = \ prod_ I = {1} ^ MP (y_i | x_i로부터; \ 세타) = \ prod_ I = {1} ^ m (H_ \ 세타 (x_i로부터)) ^ {} y_i (1- H_ \ 세타 (x_i로부터)) ^ {- 1} $$ y_i
이것은 관찰 된 값들의 집합의 수를 고려하여 확률
$$ L (\ 세타) = \ 기록 L (\ 세타) = \ sum_ {I = 1} ^ m (y_i \ (H_ \ 세타 (x_i로부터) + (1-y_i) \ 로그 (1 시간 \ 세타 로그 x_i로부터))) $$
최대 우도 추정이 찾고 은 $ L (\ 세타) $ 최대 , $ \ 세타 $ 값을.