逻辑回归与线性回归求解过程:
总体来说,回归过程都分三步:
1、Model
2、Loss Fuction
3、Gradient Decent
分析:
1、Model:线性回归中,模型为线性方程,取值范围无穷大;逻辑回归中,通过sigmod函数函数将线性方程z转化成概率(见上一篇博客)。
2、Loss Function:线性回归损失函数由均方差来衡量;逻辑回归由交叉熵衡量。
逻辑回归的Loss Function由Training Data来决定,模型需确保Training Data分类正确率最大,假设Training Data为
,则概率表示为
求上述概率公式最大化即可得到模型参数。这里做一个转化,将函数稍作变化,转化为对数形式且取负号:
,变成求最小值。
则Loss function表示为(其中将样本分类用1和0表示,y表示每个样本的实际分类情况):
,
由上式看出,Loss Function表示为实际分类与预测分类结果的交叉熵
,其中p表示实际样本的二值分布,q表示预测概率的二值分布。
交叉熵最小时,表示二者的概率分布约接近。
3、Gradient Decent:在求梯度下降时,两种情况对Loss Function求导得到的梯度下降表达式一致。