课程目录小象学院 - 人工智能

关注公众号【Python家庭】领取1024G整套教材、交流群学习、商务合作。整理分享了数套四位数培训机构的教材，现免费分享交流学习，并提供解答、交流群。

你要的白嫖教程，这里可能都有喔~

恭喜你闯进了第11关，让我们继续探索机器学习的奥秘，体验算法的魔力Amazing~

通过上一关的学习，我们已经掌握了逻辑回归的损失函数：

找损失函数的目的是：通过计算损失函数的最小值，找到使逻辑回归模型输出最好预测结果的参数的最优解。

梯度下降法

本关我们将使用之前学习的大招——梯度下降法找到损失函数的全局最优解，也就是找到使损失函数取得最小值的参数值。然后再实现一个属于我们自己的逻辑回归算法模型。

此时此刻我要告诉你一个好消息：逻辑回归的这个损失函数没有局部最优解，只存在唯一的全局最优解。

听到这个好消息后，是不是瞬间看到了希望，不再为这个复杂的大公式发愁掉头发啦！

那就让我们撸起袖子，开始干！

损失函数的表达式

通常在使用梯度下降法求解损失函数最优参数解之前，为了方便求导，通常会对损失函数公式再除以一个 m（m就是样本的数量），相当于乘以。得到逻辑回归最终的损失函数公式：。

经过前面的学习，我们已经知道对于数据集中的第i个样本使用逻辑回归进行预测的话，得到的预测概率的计算公式是：

使用的计算公式替换掉损失函数中的得到：，

符号含义

我们来分析下公式中的这些看着就脑袋疼的字母的含义：

m：表示数据集中样本的数量；

：表示数据集中第i个样本的标签，表示样本所属类别；

：是Sigmoid函数，，表示数据集中第i个样本的特征向量。

很明显这个公式里的未知变量只有，我们要做的事情就是要找到一个合适的向量使损失函数值最小。

对损失函数求导

接下来我们使用梯度下降法求解逻辑回归损失函数中的系数。

在使用梯度下降法的求解过程中，需要对求导数，也就是求梯度，这里我直接给出逻辑回归损失函数的梯度计算公式：

还记得之前我们学习过的使用梯度下降法寻找一个函数的极值点的过程吗？我们来回忆一下。

1）在函数曲线上行选取一个初始点；

2）从初始点开始，向函数值减小的方向移动，这一步是对函数中的未知变量求导，也就是计算梯度，导数的正方向指向函数值增大的方向，要是向函数值减小的方向移动，就要在计算出来的导数（梯度）之前加个负号，这样就表示向导数的负方向移动，也就是函数值减小的方向；

3）移动的时候，要设置移动的步长，也就是学习率，梯度与学习率的乘积决定了移动的方向和移动的距离。

4）检查移动到了极值点，如果没有到达极值点，循环执行第2、3步。

代码实现

sigmoid函数代码实现

定义一个sigmoid函，使用numpy提供的exp函数可以直接计算出以e为底，-t为指数的幂运算。

AI_11_0_1

import numpy as np
'''
sigmoid函数
参数：
    t：sigmoid函数中e的指数
返回值：
    返回一个列向量，向量中一个元素对应一个样本的预测概率值
'''
def sigmoid(t):
    return 1. / (1. + np.exp(-t))

损失函数代码实现

定义逻辑回归损失函数

AI_11_0_2

import numpy as np
'''
逻辑回归的损失函数J
参数：
    theta：函数中每个特征前的系数组成的向量
    X：样本特征数据集
    y：样本标签数据集  
'''
def J(theta, X, y):
    # 调用sigmoid函数，得到样本的预测概率值p_hat
    t = X.dot(theta) #使用numpy提供的 .dot 矩阵乘法，实现X中的每个特征与其对应的theta中的系数相乘
    p_hat = sigmoid(t)
    
    # 根据损失函数公式计算，len(y)表示数据集中样本数量，也就是公式中的m，除以len(y)就是除以m
    return - np.sum(y*np.log(p_hat) + (1-y)*np.log(1-p_hat)) / len(y)

损失函数的梯度代码实现

定义损失函数函数对求导，也就是定义计算梯度的函数，

AI_11_0_3

'''
计算梯度

参数：
    theta：函数中每个特征前的系数组成的向量
    X：样本特征数据集
    y：样本标签数据集

返回值：
    一个列向量，最终的梯度
'''
def dJ(theta, X, y):
    t = X.dot(theta)
    return X.T.dot(sigmoid(t) - y) / len(y) #X.T矩阵X的转置