机器学习：梯度下降法（线性回归中的使用）

一、推导目标函数

　1）基础概念

• 线性回归的损失函数：
• 参数theta：θ = (θ₀, θ₁, θ_{3, ...,} θ_n)
• 梯度：，对每一个 θ_i 求一次偏导数；
• 梯度代表方向：对应 J 增大最快的方向；
• 偏导数：函数 J 中含有 n 个未知数，每次知道其中的一个未知数求导，其它数看作常量，求得的数是函数 J 的偏导数；
• 学习率：η
• theta每次变化量： | 学习率 X 梯度 | == -η *  ▽J ；（带负号 “ - ” ，因为损失函数与参数负相关，其导数值为负，变化量要为正数）

　2）梯度下降原理

• 

1. 此图为有两个参数的梯度下降法的可视化：z = x² + 2y²；
2. 一圈圈的红线为等高线，也就是每次参数x、y的变化后目标函数 z 的取值；
3. 越外圈的 z 的取值越大，中心位置表示 z 的最小值；
4. z 的取值可以延不同的方向逐层下降，箭头表示梯度下降的方向，也是 z 的取值变化最快的方向；
5. 圈与圈之间的间距为目标函数 z 的变化量；
6. 最外圈的间距较大，也就是 z 的变化量较大；

　3）推导目标函数

• 线性回归算法中的目标函数的第一次变形
• 

• 

• 分析目标函数

1. ▽J(θ) 中，θ 是未知数，X 是样本中的已知数；
2. 公式变形思路：▽J(θ) 中的每一项都是 m 项的求和，因此梯度的大小跟样本数量有关，样本数量越大，梯度中的每一个元素值也就越大，因此所求得的梯度中的每一个元素的值，受到了 m 的影响，而在优化的过程中，梯度中的每一个元素的值最好和 m 无关；

• 确定最终的目标函数
• 

1. 目标函数变形——确定使用梯度法所要优化的最终的目标函数：J(θ) = MSE (y, ý)
2. 添加一个 1/m 是为了减小梯度的元素值；

　4）思考总结

• 当使用梯度下降法求解目标函数的最小值时，需要特殊设计目标函数，不见得所有的目标函数都非常合适此方法，虽然理论上即使梯度中的元素值很大，依然可以通过调整 η 得到想要的结果，但是这样可能会影响效率；