기본 사상

유도체

함수 $와이 =$ 점 $x_0$ $에서 f$ $($ $x$ $)$ $엑스$ 인수 $x$ at $x_0$ 증분 $Δ x$ ， $(엑스 + Δ x)$ 도 이 이웃에 있으며 해당 함수는 증분 $Δy=f(x_0+Δx) - f(x_0)$ ；当 $\Delta{x}\to0$ 时， $\Delta{y}$ 与 $\Delta{x}$ 의 비율이 존재하면 함수 $와이 =$ 점 ${x}_0$ $에서 f$ $($ $x$ $)$ $엑스$ 에서 유도될 수 있으며, 이 극한을 함수 $와이 =$ 점 ${x}_0$ $에서 f$ $($ $x$ $)$ $엑스$ 미분 at은 ${f}'({x}_0)$ 。
$f'({x}_0)=\lim_ {x_0\to0}\frac{\Delta{y}}{\Delta{x}}=\lim_{x_0\to0}\frac{f(x+\Delta{x}-f(x)}{\Delta{ 엑스}}$

부분 미분

다변량함수 하에서 도함수와 편도함수는 본질적으로 같으며 둘 다 독립변수의 변화가 0에 근접할 때 독립변수 의 변화에 대한 함수값의 변화 비율의 극한이다. 간단히 말해서 미분은 단항 함수 , 함수
$와이 =$ 특정 지점에서 $x축의 양의 방향을 따라 f$ $($ $x$ $)$ 의 변화율; 편도함수는다변량 함수, 함수 $_0, {x}_1,...{x}_n)$ $({x}_0, {x}_1,...{x}$ _n) $(엑스, 엑스, ... 엑스)$ 특정 좌표축의 양의 방향으로의 변화율.
$\frac{\alpha}{\alpha{x_j}}{f({x}_0, {x}_1,.. .{x}_n)} = \lim_{\Delta{x\to0}}\frac{\Delta{y}}{\Delta{x}} = \lim_{\Delta{x\to0}}{\frac {f(x_0,...,{x}_j + \Delta{x_j},...,x_n ) - f(x_0, ...x_j, ..., x_n)}{\Delta{x}} }$

방향 미분

도함수와 부분 도함수는 모두 좌표축의 양의 방향을 따라 함수의 변화율을 논의합니다 . 방향 미분의 정의는 함수를 따라 한 지점에서 임의의 방향으로 변화율을 고려할 때 발생합니다. 다변량 함수에서 편도함수는 특정 좌표축에 대한 독립변수
의 변화를 의미 하고, 방향성 미분은 특정 방향으로 여러 좌표축에 대한 독립변수 의 변화를 의미한다. 부분 도함수는 본질적으로 방향성 도함수의 특별한 경우입니다 . $\frac{\alpha}{\alpha{l}}{f({x}_0, {x} _1,...{x}_n)} = \lim_{$ ${\rho\to0}}\frac{\Delta{y}}{\Delta{x}} = \lim_{ {\ rho\to0}}$ $\frac{f(x_0+\Delta{x_0},...,{x}_j + \Delta{x_j},...,x_n + \Delta{x_n})- f(x_0, ...x_j, . .., x_n)}{\rho}}$
$α l 에프 (엑스, 엑스, ... 엑스) = 림_{ρ \to} \frac{y_}{Δx_ _} = 림_{ρ \to} \frac{에프 ( 엑스 + Δx_ _ , ... , x + Δx_ _ , ... , x + Δx_ _ ) - 에프 ( 엑스 , ... 엑스 , ... , x}{아르 자형}$
ψ $\rho = \sqrt{(\Delta{x_0}^2)+ ... +(\Delta{x_j}^2)+...+(\Delta{x_n}^2)}$

구배

원래 벡터로 의도된 Gradient는 이 시점에서 함수의 방향 도함수가 이 방향 , 즉 특정 지점에서 모든 방향 도함수의 최대값에 해당하는 방향을 따라 최대값을 얻고 함수가 변경됨을 나타냅니다. 이 지점에서 이 방향으로 가장 빠른 것 최대 변화율.
이미지.png
$gradf(x_0, ..., x_j ,... x_n)=(\frac{\alpha{f}}{\alpha{x_0}}, ...\frac{\alpha{f}}{\alpha{x_j}}, ..., \ frac{\alpha{f}}{\alpha{x_n}})$

방향 미분과 그래디언트의 관계

이진 함수에서 방향 도함수는 다음과 같이 표현할 수 있습니다:
$\frac{\alpha{f}}{\alpha{l}} = \ frac{\alpha{f}}{\alpha{x}}*cos\theta + \frac{\alpha{f}}{\alpha{y}}*sin\theta$
여기서 $\theta$ 는 방향 벡터와 x축 사이의 각도로 표현됩니다. 위 공식을 두 벡터의 내적으로 변환할 수 있습니다.
$\frac{\alpha{f} }{\alpha{l}} = [\frac{\alpha{f}}{\alpha{x}}, \frac{\alpha{f}}{\alpha{y}}] * [cos\theta, sin\theta]$
두 벡터의 내적은 두 벡터의 모듈의 곱으로 표현될 수 있으며 두 벡터 사이의 각도로 곱하여 다음과 같이 표현됩니다.
$\frac{\alpha{f}}{\alpha{l}} = \sqrt {\frac {\alpha{f}}{\alpha{x}}^2 + \frac{\alpha{f}}{\alpha{y}}^2} *\sqrt{ {cos\theta}^2 + { sin \theta}^2} * cos\varphi = \sqrt{\frac{\alpha{f}}{\alpha{x}}^2 + \frac{\alpha{f}}{\alpha{y }}^ 2} * 1 * cos\varphi$
벡터 내적의 기하학적 의미에 따라 $\varphi$ 는 두 벡터 사이의 각도, 즉기울기와 특정 방향 사이의 각도. 방향과 그래디언트 사이의 각도가 0인 경우에만 방향 도함수가 최대값을 취합니다. 즉,함수의 특정 지점에서 최대 방향 도함수에 해당하는 방향, 즉 기울기의 방향입니다.

경사하강법을 이해하는 방법

간단히 말해서, 신경망에서 경사하강법은 손실 함수의 최소화를 찾는 방법입니다.

직관적인 버전

경사하강법

가장 간단한 단항 볼록 함수 $f(x)=x^2$ 경사 하강법이 함수의 최소값을 찾는 방법을 보여주는 예제로 $^{2 .}$
시작점 $x_0=10$ , 아래 그림과 같이 초기화 후 신경망 가중치의 초기 값과 유사합니다.
이미지.png
$f(x_0)$ 해당 기울기는 다음과 같습니다.
$grad(f(x_0))=\frac{\ 알파{f}}{\alpha{x}}i=f'(x_0)=(2x{|}_{x_0=10})=20$
에 해당합니다. $x$ 축의 벡터 $\Delta{f(x)}$ 는 함수의 가장 빠른 성장 방향이고, 그 다음 $-\Delta{f(x)}$ 는 함수의 가장 빠른 감소 방향입니다:
이미지.png
경사 하강법에 따라 일정 거리를 이동하여 다음 위치를 얻습니다:
$x_1 = x_0 - \ 에타{\ 델타{f(x_0)}}$
그 중, $\eta$ $\eta=0.1$ 이라고 가정할 때 이동 거리를 제어할 수 있는 단계 크기입니다. $그만큼 = 0.1$ 이면 다음 점의 위치는
$x_1 = x_0 - \eta{\Delta{f(x_0)}} = 10입니다. - 0.1 * 20 = 8$ 계속해서 반복하는 경사 하강
이미지.png
법을 사용하면 다음과 같은 업데이트 프로세스를 얻을 수 있습니다

$Δ (f (x)$ 는 계속해서 감소하다가 결국 0에 가까워지는데 이때 $\Delta{f(x)} = f'(x)=0$ 이면 함수가 최소값을 취합니다.

학습 단계 크기

위의 계산 과정에서 학습 단계 크기 $\eta를 사용합니다.$ 이동 거리를 제어하고 이제 다른 $\eta를$ 최종 결과에 대한 $η 의 영향.$

$η$ 가 너무 작음

세트 $\eta$ 는 0.01이고, 10회 반복하면 바닥에서 아직 거리가 멀다는 것을 알 수 있다.
0.01.png

$η$ 적합

세트 $\eta$ 는 0.2이고, 10회 반복하며, 이제 막 바닥에 도달한 것을 알 수 있다.
0.2.png

$η가$ 더 크다

세트 $\eta$ 는 0.5이고 10회 반복하며 함수 값이 두 지점 사이를 오가는 것을 볼 수 있다.
0.5.png

$η가$ 너무 큽니다.

세트 $\eta$ 는 1.1이고 10회 반복하는데 이때 함수값은 바닥을 교차하며 계속 상승한다.
1.1.png
요약하면 서로 다른 학습 단계 $\eta$ 하에서 반복 횟수가 증가함에 따라 함수 값의 변화 법칙이 달라집니다.

수학 버전

경사하강법은 일반적으로 사용되는 1차 최적화 방법이며 제약 조건이 없는 문제를 해결하기 위한 가장 단순하고 고전적인 방법 중 하나입니다. 제약 조건이 없는 최적화 문제의 경우 $최소 f (x)$ , 여기서 $f (x)$ 는 집합 ${x_0, x_1,...x_n}에$ 연속 미분 가능입니다 $엑스, 엑스, ... 엑스$ ，满足：
$f(x_{t+1}) < f(x_t), t=0,1,...n$
그러면 아래 그림과 같이 로컬 최소점으로 수렴할 수 있습니다.
이미지.png
그런 다음 $min f (x)$ 는 다음 점 $x_{t+1}을$ , 그리고 $f(x_{t+1}) < f(x_t)를 보장합니다.$ . 단항 함수의 경우 함수 값은 $x$ 값이 변경되므로 다음 $x_{t+1}$ 이전 $x_t 입니다$ 일정한 방향으로 작은 발걸음 $\Delta{x}$ 얻어진다.
테일러 전개:
$f(x+\Delta{x})\simeq{f(x)+\Delta{x}f'(x ) }$
부좌표는 현재 $x$ 작은 스텝 이동 $\Delta{x}$ 오른쪽과 거의 같은 $Δ$ $x가 얻어집니다.$ $f(x_{t+1}) < f(x_t$ ) $에프 (엑스_{티 +}) < 에프 (엑스)$ ，即 $f(x+\Delta{x})<f(x)$ ，则 $\Delta{x}f'(x) <0$
가정Δ $\Delta{x} = -\alpha{f'(x)}, (\alpha>0$ ) $Δx__= - 에프_^{'} (x), (_> 0)$ , 여기서 $\alpha$ 는 학습 단계 크기이므로 $\Delta{x}f'(x)=-\alpha{ { f'(x)}^2}$ . 0이 아닌 숫자의 제곱은 0보다 크므로 $\Delta{x}f'(x)<0임을$ .
따라서, 설정
$f(x+\Delta{x}) = f(x -\alpha{f'(x)})$ $f(x+\Delta{x})<f(x)임을$
보장할 수 있습니다 $에프 (엑스 + Δ x) < f (x)$ ，也即 $x_{t+1}=x_t-\alpha{f'(x)}$ , 이동 방향은 음의 기울기 방향입니다.
경사하강법의 전체적인 흐름은 아래 그림과 같습니다.

최적화 기능

확률적 경사하강법

확률적 경사하강법은 매번 단일 샘플 데이터를 선택하여 가중치 매개변수를 업데이트합니다 .
이점:

훈련 속도가 빨라서 배치 그래디언트 업데이트 프로세스에서 계산 중복 문제를 피합니다.
훈련 데이터의 양이 상대적으로 많으면 더 빠른 속도로 수렴할 수도 있습니다.

결점:

각 샘플은 무작위로 샘플링되기 때문에 모델이 훈련된 후 샘플의 작은 부분만 사용될 수 있으며, 이로 인해 구한 기울기가 편향됩니다.
또한 분산이 높을수록 변동성이 커집니다.

배치 경사하강법

배치 확률적 경사하강법은 가중치 매개변수를 업데이트하기 위해 매번 모든 샘플 데이터를 순회해야 합니다.
이점:

전체 데이터 세트를 순회하기 때문에 결과는 전역 최소값입니다.

결점:

모델 교육 속도가 느리고 데이터 양이 많으면 메모리에 완전히 로드할 수 없으며 기울기 계산 복잡성이 큽니다.

미니배치 경사하강법

각 반복은 샘플 데이터의 작은 부분을 고려하여 가중치 매개변수를 업데이트합니다.
이점:

SGD의 높은 분산 문제를 줄여 모델 수렴을 보다 안정적으로 만듭니다.
행렬 곱셈은 계산 속도를 높일 수 있습니다.

결점:

또한 샘플 선택에는 임의성이 있어 모델의 양호한 수렴을 보장하지 않습니다.

지수 가중 평균

후속 다중 최적화 기능을 도입하기 전에 지수 가중 평균 방법에 대한 이해가 필요합니다. 이는 본질적으로 평균화와 유사한 방법 입니다 . 지수 가중 평균 방법은 변수의 로컬 평균을 추정하는 데 사용할 수 있으므로 변수 의 업데이트는 각 관찰 값에 다른 가중치가 부여되는 일정 기간 내의 과거 값과 관련되며 해당 가중 계수 시간이 지남에 따라 기하급수적으로 감소합니다 .
지수가중평균법은 평균법에 비해 과거의 값을 모두 저장할 필요가 없고 계산량이 대폭 줄어듭니다.
지수가중평균법의 공식은 다음과 같다.
$v_{t+1} = \beta{v_t} + (1-\beta)\theta_{ 티+1}$
여기서 $v_{t+1}$ 최대 나타냅니다 . $티 + 1$ 일평균, $\theta_{t+1}$ 나타냅니다. $티 + 1$ 일 기온 값, $\beta$ 는 조정 가능한 하이퍼파라미터입니다. 지수 가중 평균 방법의 세 가지 중요한 속성은 다음과 같이 검증됩니다.

지역 평균
가중치 계수
계수는 시간에 따라 기하급수적으로 감소합니다.

$\beta=0.9$ 라고 가정 $비 = 0.9$ 이면 지수가중평균법의 평균과정은
$v_{100} = 0.9v_{99} + 0.1\theta_{100}$
$v_{99} = 0.9v_{98} + 0.1\theta_{99};$
$v_{98} = 0.9v_{97} + 0.1\theta_{98};$
위 공식을 단순화하여
$v_{100} = 0.1\theta_{100} + 0.9v_{99}$
$0.1\theta_{100} + 0.9*( 0.1\theta_{99} + 0.9v_{98}) = 0.1\theta_{100} + 0.1 * 0.9 \theta_{99} + {0.9}^2* (0.1\theta_{98} + 0.9v_{97} )$
$0.1\theta_{100} + 0.1 * 0.9 \theta_{99} + 0.1 * {0.9}^2 \theta_{ 98} + {0.9}^3 v_{97}$

위 식에서 $v_{100}$ 각 관측값에 가중치를 곱한 값과 같으며 가중치는 시간이 지남에 따라 기하급수적으로 감소합니다. 또 다른 포인트는 지수가중평균법으로 구한 평균값이 지역평균이므로 얼마나 많은 관측값을 평균하느냐에 따라 대략 $\frac{1}{1-\beta}$ , 이 예에서 $\beta=0.9$ 이면 10개의 관측치가 참조됩니다.
평균 계산을 보다 정확하게 하기 위해서는편향을 보정. $\beta=0.98$ 이라고 가정하고 편향 보정이 필요한 이유를 소개하는 예입니다. $비 = 0.98$ , 초기화 $v_0=0$ ， $\theta_1=40$ 。 sov
$v_1=\beta{v_0}+(1-\beta)\theta_t=0.98 * v_0+0.02\theta_t=0.02\theta_t=8$
따라서 첫날의 추정값은 정확하지 않습니다. $v_2=0.98v_1+0.02\theta_2 = 0.02*0.98*\theta_1 + 0.02 \theta_2$ $\theta_1$ 때문에 $나$ 합 $\theta_2$ 모두 정수이므로 계산된 $v_2$ $\theta_1$ 보다 훨씬 작음 $나$ 합 $\theta_2$ .
부정확한 초기 추정치의 경우 $\frac{v_t}{1-\beta^t}$ 일의 값을 나타냅니다. 여기서 $t는$ 일 수를 나타내므로 두 번째 날의 예상 값은 다음과 같습니다.
$\frac{v_2}{0.0396}$
와 함께 $t$ 값이 증가하면 $\beta_t$ 0에 가깝기 때문에 $t$ 가 크면 바이어스 보정의 효과가 거의 없습니다.

모멘텀 경사하강법

모멘텀 경사하강법의 기본 아이디어는 경사의 지수 가중 평균을 계산 하고 해당 경사를 사용하여 가중치를 업데이트하는 것입니다.
Mini-batch Gradient Descent 방법의 경우 샘플링의 임의성으로 인해 각 드롭은 엄격하게 최소값 방향이 아니라 전체 하향 추세가 최소값 방향입니다.
이미지.png
운동량 경사 하강법은 스윙의 진폭을 줄이고 학습 속도를 향상시키는 것입니다.

운동량 경사하강법의 식은 다음과 같다.
$v_{dw} = \beta{v_{dw}} + (1-\beta)dW$
$v_{db} = \beta{v_{db}} + (1-\beta)db$
$W-\alpha{v_{dw}};b = b-\alpha{v_{db}}$
지수 가중 평균 방법을 사용하여 로컬 그래디언트 평균 값을 얻고 매개변수 업데이트를 위해 원래 단일 반복 그래디언트 값을 바꿉니다. 물리학의 운동량 개념을 차용하여 언덕 아래로 공을 밀어내는 작업으로 매개변수 최적화를 상상합니다 기울기 값은 공의 가속도와 유사합니다 기울기 전후의 방향이 일치해야 학습이 가능합니다 앞과 뒤의 기울기 방향이 일치하지 않으면 변동이 억제됩니다 . .

RMS 플러그

초기에는 모멘텀 최적화 알고리즘이 매개변수 최적화 과정에서 큰 스윙 문제를 해결했지만, 소위 스윙은 최적화 및 업데이트 후 매개변수 범위를 의미합니다.아래 그림과 같이 파란색이 선택한 경로입니다. Momentum 최적화 알고리즘 녹색은 RMSprop 최적화 알고리즘이 사용하는 경로입니다.
이미지.png
RMSprop의 표현은 다음과 같습니다:
$S_{dw} = \beta{S_{dw}} + (1-\beta)(dW)^2$
$S_{db} = \beta{S_{db}} + (1-\beta)(db)^2$
$W=W-\alpha{\frac{dW}{\sqrt{S_{dw}}}};b=b-\alpha{\frac{db}{\sqrt{S_{ 디비}}}}$
RMSprop 경사하강법은 먼저 지수 가중 평균법을 사용하여 경사 제곱의 가중 평균을 구한 다음 경사 비율의 제곱근을 사용하여 가중치 매개변수를 업데이트합니다 .
RMSprop 알고리즘은 기울기의 미분 제곱 가중 평균을 계산합니다. 이 접근법은 큰 스윙 진폭의 방향을 제거하는 데 유리합니다 (dW 및 db에 상대적으로 큰 값이 있을 때 가중치 또는 바이어스를 업데이트할 때 이전에 누적된 기울기의 제곱근으로 나누고 업데이트 진폭은 작게 됩니다 ), 스윙 범위를 수정하는 데 사용되므로 각 차원의 스윙 범위가 더 작아지고 반면에 네트워크가 더 빠르게 수렴됩니다.

아담

Adam 최적화 알고리즘은 기본적으로 RMSprop과 Momentum의 조합으로 구체적인 계산 과정은 다음과 같습니다.

기울기 $디 승, 디비$ ; $_$
모멘텀의 지수 가중 평균 계산 $v_{dw} = \beta_1{v_{dw}} + (1-\beta_1)dW$ , $v_{db} = \beta{v_{db}} + (1-\beta)db$ ; $_$
RMSprop을 사용하여 업데이트, $S_{dw} = \beta_23{S_{dw}} + (1-\beta_2)(dW)^2$ ， $S_{db} = \beta{S_{db}} + (1-\beta)(db)^2$ ;
进行偏差修正， $v_ {dW}^{수정됨} = \frac{v_{dW}}{1-\beta_1^t},v_{db}^{수정됨} = \frac{v_{db}}{1-\beta_1^t} ,S_{dW}^{수정됨}=\frac{S_{dW}}{1-\beta_2^t},S_{db}^{수정됨}=\frac{S_{db}}{1-\beta_2^ 티}$ ;
进行权值更新， $W=W-\alpha{\frac{v_{dW}^{corrected}}{ \sqrt{S_{dW}^{수정됨}}+\epsilon}},b=b-\alpha{\frac{v_{db}^{수정됨}}{\sqrt{S_{db}^{수정됨}} +\epsilon}}$

Adam 알고리즘은 RMSprop과 Momentum을 결합하고 다양한 신경망에 매우 일반적으로 사용되는 학습 알고리즘입니다.

참조 링크:

https://blog.csdn.net/wo164683812/article/details/90382330
https://www.zhihu.com/question/36301367
https://blog.csdn.net/weixin_44492824/article/details/122270260
https:/ /www.zhihu.com/question/305638940/answer/1639782992
https://www.zhihu.com/question/305638940/answer/606831354
https://zhuanlan.zhihu.com/p/36564434

최적화 기능에 대한 기본적인 이해

기본 사상

유도체

부분 미분

방향 미분

구배

방향 미분과 그래디언트의 관계

경사하강법을 이해하는 방법

직관적인 버전

경사하강법

학습 단계 크기

수학 버전

최적화 기능

확률적 경사하강법

배치 경사하강법

미니배치 경사하강법

지수 가중 평균

모멘텀 경사하강법

RMS 플러그

아담

참조 링크:

추천