版权声明：站在巨人的肩膀上学习。 https://blog.csdn.net/zgcr654321/article/details/82978119
P7 Gradient Descent (Demo by AOE) 笔记：
在进行Gradient Decent时，我们可以类似玩游戏帝国时代时探索地图的情况。
在地图没有探索前，你的视野范围只有很小的一个圈，你不知道圈外的黑幕下面有什么东西。
现在我们假设地图上的海拔就是loss function的值，我们现在要寻找地图上海拔的最低点。
我们控制一个单位，这个单位所在位置就是一个初始点。使用gradient decent方法来寻找最低点，其实就类似于我们看看可视圈的范围内哪一边比较低，我们就控制单位向低点走去。到新点后，我们再次重复上述过程，再向更低点走去。
重复多次后，我们找到了一个最低点，这个位置就是local minima位置。
但是我们无法知道这个local minima位置是否就是global minima的位置。
P8 Gradient Descent (Demo by Minecraft) 笔记：
我们还可以类比在Minecraft游戏中玩的情况。
如图，我们现在想找出这个人物前面的洞内的最低点。
我们现在观察到人物的右前方是比较低的，按照gradient decent，我们操作人物向右前方前进。
接下来再次观察，我们发现人物的右前方还是比较低的，按照gradient decent，我们操作人物再向右前方前进。
接下来我们发现人物前面和右边比较低，但是右前方却是比较高的，但按照gradient decent，我们的人物仍然向右前方前进了。这时就出现了没有向local minima收敛的情况。