마이크로 채널 대중 숫자에 오신 것을 환영합니다 관심 " 지능형 알고리즘 : 원래 링크 (더 나은 경험을 읽기) -"
운명 깊은 학습 알고리즘의 속도를 학습 (6 단계) ---- 깊이 학습
하나, 우리는 진화 최적화 깊이 학습을 함께 연구
최적화 깊이 학습 알고리즘을 선택한다 (제 5) ---- 깊이 학습
우리가 운명의 종류와 함께 학습 속도를 보면 오늘, 우리는 더 많은 교류와 공통의 진행을 실시하고 있습니다. 이번 호에서는 다음과 같이 :
- 학습 속도의 영향
- 속도 최적화 전략을 학습
- 속도 조절 학습에 최적화
- 운명
I.는 학습 속도에 영향을
깊이 연구에서 더 어려운 적합한 학습 속도를 찾을 수 있습니다. 더 발산 할 것이다 학습 곡선을 훈련, 설정하면 네트워크의 교육 깊이 동안, 학습 속도가 너무 높은, 학습 속도가 너무 낮게 설정되어있는 경우, 교육 결국 최적의 값으로 수렴 수렴하지만, 긴 소모됩니다 있지만 시간, 학습 속도가 약간 높은,하지만 그렇게 높지 않은 설정하면, 곧 초기 교육을 드롭하지만, (하고 충격이있을 수 있습니다 여전히 적응 학습 최적 값 부근에서 속도 만,와 최적화하지 않는 한 그것은) 최고의 장점에 정착하는 시간이 걸립니다, 컴퓨팅 자원이 제한되어있는 경우, 그것은 학습을 중지하고 두 번째 이점을 얻을 수 있습니다. 도는 다음과 같습니다 :
때때로, 우리가 훈련 할 수있는 여러 신 (新) 시대는 여러 가지 학습 속도를 비교하여 상대적으로 좋은 지적 학습 곡선 학습 속도를 찾기 위해 여러 가지 학습 속도에 의해 사용되었다. 매우 빠르게 학습 과정을 만들 것입니다 이상적인 학습 속도, 곧 좋은 해결책 융합. 그래서 좋은 어떤 전략을 학습 속도를 최적화?
II. 학습 속도 최적화 전략
일반적으로, 우리는 높은 학습 속도 시작하고, 학습 너무 빨리하지 않을 때 학습 속도를 줄일 때, 당신은 빠른 학습의 고정 된 속도보다 최적의 솔루션을 얻을 것이다 경우. 일반적인 조정 전략 다음은 학습 과정에서의 학습 속도를 조정합니다 :
- 사다리 조정
상기 조정 단계에서, 예를 들어 처음에 다음과 같은 0.001 100 에포크 이후 50 에포크 후에 0.01까지 저하 학습 속도 0.1, 제공 될 수있다.
- 성능 조정
성능 중재자가 검증 집합 교육 과정, 학습 속도의 성능에 따라 일정한 학습 속도를 줄이는 목적을 달성하기 위하여 감쇠 계수를 곱에 대한 네트워크 성능의 성능에 따라 조절된다.
- 지수 조정
다음과 같이 감쇠 지수를 조정하면, 함수의 반복 횟수를 배울 수 있도록 설계되었습니다 :
이 점차 붕괴 반복의 수에 따라 학습 속도,하지만 초기 학습 속도 η0 울트라 매개 변수 R을 조정해야 할 필요성을 증가시킬 수 있습니다.
- 전원 규정을 말한다
이제 다음과 같이, 학습 속도를 조정할 수있는 능력 지수 감쇠 기능이 지수 함수에 전력을 공급하기위한 것을 제외하고, 전원 변조 지수에 다소 유사한 의미 :
울트라 파라미터 (C)는 일반적으로 1로 설정되고, 붕괴 지수 감쇠 속도를 조정 수단의 조정 능력은보다 느리다.
학습 속도를 조정 음성 인식 일반적인 방법에 대한 네트워크를 최적화하기 위해, 모멘텀 최적화 2013, 앤드류 수석 비교 하였다는 결론에 도달 : 성능 조정 및 인덱스 성능을 조정하는 것은 아주 좋은이 될 수 있지만, 때문에 인덱스 조정 예는 인덱스 조정하는 경향이 더, 약간 빠른 수렴.
III. 속도 조절 학습에 최적화
TensorFlow에서 학습 속도 조정을 달성하기 매우 쉽습니다, 다음은 규제 구현 코드의 지수 붕괴는 다음과 같습니다
이와 같이, 하이퍼 파라미터를 설정 한 후, (0으로 초기화) 전역 변수를 생성 nontrainable 현재 반복 횟수를 기록하기 위해 사용된다. 그리고 슈퍼 매개 변수의 정의에 따라 지수 붕괴의 학습 속도를 exponential_decay. 다음으로, 동적 최적화 최적화를 만들고, 매우 간단 할 수있는 손실 함수를 최소화하기 위해 최적화 할 수 있습니다. 그러나 ......
IV. 운명을 정렬
우리가 AdaGrad, RMSProp 아담 최적화가 나타 축제에 대해 이야기하기 전에의 학습 속도를 조절하는 방법, 위 또는 유용한 인해 AdaGrad, RMSProp 아담과 세 최적화 타고난 자신의 학습 속도를 조절하는 배우고 결과가 매우 좋은이 일반적으로 세 가지 최적화, 종종 더 이상 인위적으로 학습 속도를 조정하려면, 어쩌면이 운명 할 때 사용되지 않는,이 일정입니다!
(관련 지식의 더 나은 이해를 들어, "스마트 알고리즘"번호가 그룹과 QQ 마이크로 채널 알고리즘 그룹에 가입하기 위해, "커뮤니티"공공 보내 지능형 알고리즘의 커뮤니티에 가입을 환영합니다)