선형 회귀 분석과 로지스틱 회귀 규칙을 정한다

첫째, 왜 정규화해야합니까?

문제는 시작에 걸쳐 피팅에서 정규화의 말하기.

우리는 기능을 꽤 많이있을 때, 기계 학습 집합에 나가 배우는 것은 잘 일치하지만, 가정 말했다 overfitting 우리의 일반적인 감각 새로운 테스트 세트, 좋은 결과를 달성하는 데 실패 할 수있다 공동 현상.

방법은 기능의 일부를 오버 피팅 피하기 위해 보통의 감각을 포기하는 데 사용할 수 있지만, 상대적으로 정보가 일부 기능을 제공 할 것입니다. 우리는 변수의 모든 특성을 유지해야하는 경우, 우리는 정규화 방법을 사용합니다. 정규화 과정에서, 우리는 변수의 모든 특성을 유지하지만, 우리는 주문 매개 변수 또는 매개 변수의 크기를 줄일 수 있습니다. 반면에, 정규화에 의해 또한 우리가 모델을 단순화하는 데 효과적 일 수있다.

둘째, 비용 함수

예를 들어, 우리는 (100 개) 기능을 가지고, 사실,이 좁혀 매개 변수, 즉 변수가 낮은 상관 관계를 가지고 있습니다 사전에 알고 어렵다. 따라서, 선형 회귀 분석은, 예를 들어, 우리의 선형 회귀 함수의 선정 더하기 추가 정규화 용어는 다음과 같이 각각의 계수의 값이 좁게한다 :
. \ [J (\ 쎄타) = FRAC \ 1 {{ 2m} \ sum_ {I = 1} ^ m (H_ \ 세타 (X ^ {(I)}) - Y ^ {(I)}) ^ 2 + \ 람다 \ sum_ {I = 1} ^ N 개의 \ 세타 2_j ^] \]
람다 특히 대형이어야한다.

셋째, 선형 프로그래밍 정규화

1. 그라데이션 하강

아래와 같이 정규화 기울기 하강 방법이없는 경우, 상기 비용 함수를 최소화하는데 사용된다
\ [\ theta_j = \ theta_j- \ 알파 FRAC \ {1} {m} \ sum_ {I = 1} ^ m ( H_ \ 세타 (X ^ {(
I)}) - Y ^ {(I)}) ^ {X (I)} _ J (j = 0,1,2, ..., N) \] 제 2 부분 참조 우리는 정규화 선형 회귀하기 쉽다.
\ [\ Theta_0 = \ theta_0- \ 알파 FRAC {1} {m} \ {sum_ I = 1} ^ m (H_ \ 세타 (X ^ {(I)}) - Y ^ {(I)}) \ X ^ {(I)} _ 0 \]

\ [\ theta_j = \ theta_j- \ 알파 [\ FRAC {1} {m} \ {sum_ I = 1} ^ m (H_ \ 세타 (X ^ {(I)}) - Y ^ {(I)}) X ^ {(I)} _ J + \ {FRAC \ 람다} {m} \ theta_j] (j = 1,2, ..., N) \]