배경
기계 학습 학습의 개념에 대한 기준으로.
1. 개요
응용 프로그램의 넓은 범위에서 기계 학습의 그라데이션 하강 (그라데이션 하강), 온라인 또는 회귀 로지스틱 회귀 여부, 주요 목적은 반복적으로 최소로 최소 목적 함수, 또는 수렴을 찾는 것입니다.
a의 현장에서이 문서 내리막 수학적 이유를 사용하여 그라데이션을 설명하는 첫 번째 그라데이션 하강 알고리즘의 기본적인 아이디어 제시, 시작하고 그라데이션 하강 알고리즘의 원리를 설명, 그라데이션 하강 알고리즘의 간단한 예제의 최종 실현!
2. 구배 하강 알고리듬
2.1 시나리오를 가정
그라데이션 하강 방법의 기본 아이디어는 내리막 코스 유사하다.
이 같은 시나리오를 가정 : 산에 갇힌 사람을, 우리는 (계곡입니다 산의 가장 낮은 지점을 찾기 위해) 산을 내려와해야합니다. 그러나 낮은 가시성의 결과로 큰 언덕 안개,이 시간 때문에, 경로 아래로 확인할 수 없습니다, 당신은 길을 찾기 위해 단계별로 단계 주위의 정보를 사용해야합니다. 이 시간, 우리는 산 아래에 도움을에 그라데이션 하강 알고리즘을 사용할 수 있습니다. 그것을 할 방법이 위치에서 가장 가파른 곳을 찾을 수있는 기준으로 자신의 현재 위치로 우선, 가장 가파른 곳을 찾아, 다음 방향을 낮추는 향해 걸음을하고 참고로 현재 위치를 계속 거리 도 공감 산, 이번에는 그 그라데이션 상승 알고리즘하게 최종적으로 최저 지점에 도달 할 때까지
2.2 구배 하강
산 아래와 매우 유사 현장에 그라데이션 하강의 기본 과정.
우선, 우리는이 미분 기능을. 이 기능은 산을 나타냅니다. 우리의 목표는 산의 기반이 기능의 최소를 찾는 것입니다. 이 시나리오는 가장 빠른 방법은 가파른 현재 위치와 방향을 아래로 가장 찾은 다음,이 방향을 따라 아래로 이동하는 것입니다 전에 것으로 가정 기능에 해당하는 포인트는 기울기 찾는 것입니다 , 다음 그라데이션의 반대 방향을 향해을 당신은 함수의 값에서 가장 빠른 감소를 만들 수 있습니다! 그라디언트의 방향이 빠른 방향의 변화의 함수이기 때문에 (나중에 설명 할 것이다)
우리는 마침내 우리가 아래로있는 프로세스와 유사 로컬 최소, 도달 할 수 반복이 방법을 다시 사용 그라데이션을 공격하고, 그래서. 스트라이크 측정 수단의 방향으로 장면 가파른 경사 방향을 결정한다. 왜 다음 그라디언트의 방향은 가파른 방향은? 다음으로, 우리는 차동 시작 :
2.2.1 미분
차동의 중요성을보기 것은, 당신이 다른 견해를 가질 수 있습니다, 가장 일반적인 두 가지가 있습니다 :
- 이미지 기능, 지점에서의 접선의 기울기
- 함수의 변화율
차별화의 몇 가지 예 :
1. 단지 하나의 가변 차등 변수, 함수
미분 2. 다 변수 함수 각 변수 별도로 즉 다수의 변수가 미분
2.2.2 그라데이션
다 변수 일반화 구배 실제로 유도체이다.
다음 예 :
우리는 구배 후 쉼표로 구분하여 각각의 가변 차등 별도로이라고 볼 수는 기울기 <>는 그들을 포함 사실, 그라데이션 벡터 명령이다.
미적분 구배가 매우 중요한 개념이다, 이전에 그라데이션을 의미 언급
- 변량 함수에서 기울기의 주어진 시점에서 탄젠트 함수의 기울기를 나타내는 미분 실제로 함수
- 다 변수 함수에, 그라데이션 벡터의 벡터 방향이된다, 그래디언트 방향은 빠른 방향으로 고정 소수점 기능의 상승 지적
这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！
2.3 数学解释
首先给出数学公式：
此公式的意义是：J是关于Θ的一个函数，我们当前所处的位置为Θ0点，要从这个点走到J的最小值点，也就是山底。首先我们先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是α，走完这个段步长，就到达了Θ1这个点！
2.3.1 α
α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离，以保证不要步子跨的太大扯着蛋，哈哈，其实就是不要走太快，错过了最低点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以α的选择在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点！
2.3.2 梯度要乘以一个负号
梯度前加一个负号，就意味着朝着梯度相反的方向前进！我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号；那么如果时上坡，也就是梯度上升算法，当然就不需要添加负号了。
3. 实例
我们已经基本了解了梯度下降算法的计算过程，那么我们就来看几个梯度下降算法的小实例，首先从单变量的函数开始，然后介绍多变量的函数。
3.1 单变量函数的梯度下降
我们假设有一个单变量的函数
函数的微分，直接求导就可以得到
初始化，也就是起点，起点可以随意的设置，这里设置为1
学习率也可以随意的设置，这里设置为0.4
根据梯度下降的计算公式
我们开始进行梯度下降的迭代计算过程：
如图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底
3.2 多变量函数的梯度下降
我们假设有一个目标函数
现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下来，我们会从梯度下降算法开始一步步计算到这个最小值！
我们假设初始的起点为：
初始的学习率为：
函数的梯度为：
进行多次迭代：
我们发现，已经基本靠近函数的最小值点
4. 代码实现
4. 1 场景分析
下面我们将用python实现一个简单的梯度下降算法。场景是一个简单的线性回归的例子：假设现在我们有一系列的点，如下图所示：
我们将用梯度下降法来拟合出这条直线！
首先，我们需要定义一个代价函数，在此我们选用均方误差代价函数（也称平方误差代价函数）
此公式中
- m是数据集中数据点的个数，也就是样本数
- ½是一个常量，这样是为了在求梯度的时候，二次方乘下来的2就和这里的½抵消了，自然就没有多余的常数系数，方便后续的计算，同时对结果不会有影响
- y 是数据集中每个点的真实y坐标的值，也就是类标签
- h 是我们的预测函数（假设函数），根据每一个输入x，根据Θ 计算得到预测的y值，即
我们可以根据代价函数看到，代价函数中的变量有两个，所以是一个多变量的梯度下降问题，求解出代价函数的梯度，也就是分别对两个变量进行微分
明确了代价函数和梯度，以及预测的函数形式。我们就可以开始编写代码了。但在这之前，需要说明一点，就是为了方便代码的编写，我们会将所有的公式都转换为矩阵的形式，python中计算矩阵是非常方便的，同时代码也会变得非常的简洁。
为了转换为矩阵的计算，我们观察到预测函数的形式
我们有两个变量，为了对这个公式进行矩阵化，我们可以给每一个点x增加一维，这一维的值固定为1，这一维将会乘到Θ0上。这样就方便我们统一矩阵化的计算
然后我们将代价函数和梯度转化为矩阵向量相乘的形式
4. 2 代码
首先，我们需要定义数据集和学习率
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Time : 2019/1/21 21:06
# @Author : Arrow and Bullet
# @FileName: gradient_descent.py
# @Software: PyCharm
# @Blog ：https://blog.csdn.net/qq_41800366
from numpy import *
# 数据集大小 即20个数据点
m = 20
# x的坐标以及对应的矩阵
X0 = ones((m, 1)) # 生成一个m行1列的向量，也就是x0，全是1
X1 = arange(1, m+1).reshape(m, 1) # 生成一个m行1列的向量，也就是x1，从1到m
X = hstack((X0, X1)) # 按照列堆叠形成数组，其实就是样本数据
# 对应的y坐标
y = np.array([
3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)
# 学习率
alpha = 0.01
1234567891011121314151617181920212223接下来我们以矩阵向量的形式定义代价函数和代价函数的梯度
# 定义代价函数
def cost_function(theta, X, Y):
diff = dot(X, theta) - Y # dot() 数组需要像矩阵那样相乘，就需要用到dot()
return (1/(2*m)) * dot(diff.transpose(), diff)
# 定义代价函数对应的梯度函数
def gradient_function(theta, X, Y):
diff = dot(X, theta) - Y
return (1/m) * dot(X.transpose(), diff)
12345678910最后就是算法的核心部分，梯度下降迭代计算
# 梯度下降迭代
def gradient_descent(X, Y, alpha):
theta = array([1, 1]).reshape(2, 1)
gradient = gradient_function(theta, X, Y)
while not all(abs(gradient) <= 1e-5):
theta = theta - alpha * gradient
gradient = gradient_function(theta, X, Y)
return theta
optimal = gradient_descent(X, Y, alpha)
print('optimal:', optimal)
print('cost function:', cost_function(optimal, X, Y)[0][0])
12345678910111213当梯度小于1e-5时，说明已经进入了比较平滑的状态，类似于山谷的状态，这时候再继续迭代效果也不大了，所以这个时候可以退出循环！
运行代码，计算得到的结果如下：
print('optimal:', optimal) # 结果 [[0.51583286][0.96992163]]
print('cost function:', cost_function(optimal, X, Y)[0][0]) # 1.014962406233101
12通过matplotlib画出图像，
# 根据数据画出对应的图像
def plot(X, Y, theta):
import matplotlib.pyplot as plt
ax = plt.subplot(111) # 这是我改的
ax.scatter(X, Y, s=30, c="red", marker="s")
plt.xlabel("X")
plt.ylabel("Y")
x = arange(0, 21, 0.2) # x的范围
y = theta[0] + theta[1]*x
ax.plot(x, y)
plt.show()
plot(X1, Y, optimal)
1234567891011121314所拟合出的直线如下
全部代码如下，大家有兴趣的可以复制下来跑一下看一下结果：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Time : 2019/1/21 21:06
# @Author : Arrow and Bullet
# @FileName: gradient_descent.py
# @Software: PyCharm
# @Blog ：https://blog.csdn.net/qq_41800366
from numpy import *
# 数据集大小 即20个数据点
m = 20
# x的坐标以及对应的矩阵
X0 = ones((m, 1)) # 生成一个m行1列的向量，也就是x0，全是1
X1 = arange(1, m+1).reshape(m, 1) # 生成一个m行1列的向量，也就是x1，从1到m
X = hstack((X0, X1)) # 按照列堆叠形成数组，其实就是样本数据
# 对应的y坐标
Y = array([
3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)
# 学习率
alpha = 0.01
# 定义代价函数
def cost_function(theta, X, Y):
diff = dot(X, theta) - Y # dot() 数组需要像矩阵那样相乘，就需要用到dot()
return (1/(2*m)) * dot(diff.transpose(), diff)
# 定义代价函数对应的梯度函数
def gradient_function(theta, X, Y):
diff = dot(X, theta) - Y
return (1/m) * dot(X.transpose(), diff)
# 梯度下降迭代
def gradient_descent(X, Y, alpha):
theta = array([1, 1]).reshape(2, 1)
gradient = gradient_function(theta, X, Y)
while not all(abs(gradient) <= 1e-5):
theta = theta - alpha * gradient
gradient = gradient_function(theta, X, Y)
return theta
optimal = gradient_descent(X, Y, alpha)
print('optimal:', optimal)
print('cost function:', cost_function(optimal, X, Y)[0][0])
# 根据数据画出对应的图像
def plot(X, Y, theta):
import matplotlib.pyplot as plt
ax = plt.subplot(111) # 这是我改的
ax.scatter(X, Y, s=30, c="red", marker="s")
plt.xlabel("X")
plt.ylabel("Y")
x = arange(0, 21, 0.2) # x的范围
y = theta[0] + theta[1]*x
ax.plot(x, y)
plt.show()
plot(X1, Y, optimal)
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465665. 小结
이 시점에서, 그것은 기본적으로 그라데이션 하강 알고리즘의 기본 아이디어와 프로세스를 통해 소개하고, 파이썬 구현과 그라데이션 하강 알고리즘의 간단한 경우는 직선에 맞게!
마지막으로, 우리는 기사 제안 된 가설의 시작 부분에 현장에 복귀 :
이 아래로 사람들이 실제로 나타냅니다 역 전파 알고리즘을 경로가 실제로 알고리즘이 매개 변수 Θ를 찾고 있었다 나타내는 아래, 가파른 산의 현재 위치 실제로 방향 기울기의 방향이 시점에서의 비용 함수이고, 현장 관찰 도구 가파른 방향에서 사용되는 차동 . 다음 관찰하기 전에 시간은 우리가 학습 속도 α 알고리즘을 정의한 것입니다.
우리는 잘 대응하는 장면 가정 및 그라데이션 하강 알고리즘을 볼 수 있습니다!
공유 수석에서이 문서의 내용의 대부분은, 너무 감사합니다! 감사합니다!