小白进击-线性模型

今天我们将从线性回归的原理去讲解，并介绍两种求解方法，实实在在的对线性回归模型有一个深刻理解。损失函数求解一般有两种方法，一种是正规方程求解（直接求解），另一种是梯度下降法求解，利用正规方程求解可能会由于样本数较大造成速度慢，优点在于不需要迭代，不存在无法收敛问题。梯度下降在数据量较大时计算速度要好，但是要设置好学习率等，或者会导致无法收敛。逻辑回归虽然名字是回归，但解决的是二分类问题，采用对数几率函数将分类任务的真实标记与线性回归模型的预测值联系起来。
逻辑回归模型的损失函数不能使用最小二乘法，多个原因：一方面Y不是连续值，最后预测值也是利用判定函数进行得到0或1，并非真实预测值；另一方面存在多个极小值，容易陷入局部最小。逻辑回归概括起来就是一句话：假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降求解参数，达到数据二分类的目的。