目录
1、欠拟合和过拟合
2、局部加权线性回归/Loess
3、为什么用最小二乘来解?
4、逻辑回归
5、感知器
1、欠拟合和过拟合
第一幅图,underfitting欠拟合,对数据拟合的不是很好
第二幅图,我们暂时认为拟合的最符合真实情况
第三幅图,overfitting过拟合,曲线很满足训练样本,但是并没有给出预测方向
2、局部加权回归,又 称Loess
局部加权线性回归:更近的点采用更大的权重,弱化更远的点的影响。
权重w是个钟形的函数。参数表示钟形的宽度。
对于每个要预测的点,都要先拟合出一条直线,再进行预测。
3、为什么用最小二乘来解?
我们假设误差error满足均值为0的高斯分布。
为什么采用高斯分布:因为大部分情况下,我们发现高斯分布能够很好的表现出干扰的性质。
最大化log似然函数,其实就是最小化误差平方和,这个跟之前的最小二乘法是一致的。
4、逻辑回归
这里是梯度上升,看上去好像跟之前的最小二乘算法一样,其实是不一样的。这里,y的取值不连续,而且h(x)也变了。
另外:安利一个机器学习算法学习的好办法:
(1)看懂原理以及每一步推导
(2)将推导覆盖,自己推导一遍
(3)实践
5、感知器