三种梯度下降优化框架
flyfish
摘自：PaddlePaddle
梯度下降优化框架分三类分别是
批量梯度下降（Batch gradient descent）
随机梯度下降（Stochastic gradient descent）
小批量梯度下降（Mini-batch gradient descent）
Batch gradient descent翻译成全量梯度下降 更好，因为Batch与Mini-batch都有个bath容易混肴
先采用原文翻译的说法
批量梯度下降（Batch gradient descent）
每次迭代数量：全量样本
优点：每次迭代都朝梯度下降的方向
缺点：
1 每次迭代要使用训练数据中的所有样本。
2 更新次数少，迭代慢。
随机梯度下降（Stochastic gradient descent）
每次迭代数量：一个样本
优点：
1完成一次遍历就会对参数更新很多次，迭代快
2样本的随机性可能帮助跳出局部极值点
缺点：
1 每次迭代不一定按照梯度下降的方向
2 迭代次数太多
小批量梯度下降（Mini-batch gradient descent）
每次迭代数量：部分样本
优点：向量化计算，易于并行速度快。