AdaGrad
每个参数都有自己的learning rate
梯度下降最好是一步到达local minim
所以最好的step是一阶导数/二阶导数
扫描二维码关注公众号，回复：
9192584 查看本文章
adagrad就是使用原来所有的微分平方和代替二次微分，能够减少二次微分计算量
？？？为什么可以这么做？还不是很懂 如何代替
随机梯度下降Stochastic Gradient descent
随机选取一个样本，进行gradient descent
Feature scaling
其实就是归一化，把各个特征归一化到同一范围
梯度下降理论
在x很接近x0的时候，可以使用一阶导数近似
考虑泰勒展开二次导数-牛顿法
