[주의 사항] 기계 학습 - CHANG - 4 - 그라데이션 하강

기울기 하강 기울기의 하강
기울기 하강 (최소 제곱 법에 대조적으로) 반복 과정의 목적은 최적화 문제를 해결하는 것이다 : (\ {\ 세타} ^ * =를 Arg 분 _ {\ 세타} L ({\ 세타}) \) 상기 (\ {\ 세타는} \) 벡터, 편미분 구배이다.

이러한 팁 다음 더 나은 결과 그라데이션 하강을 달성하기 위해 :

1. 학습 속도 조정
   대상에 가까운 시간의 시작, 빠른 반복에 대한 더 큰 학습 속도, 학습 속도가 작은 조정됩니다.
   예를 들면, \ (1 / T \.) : 감쇠 \ (^ t = {\ ETA
   } / \ SQRT {(t + 1)} \ {\ ETA}) 뿐만 아니라, 다른 매개 변수는 다른 학습 속도가 주어져야한다.