神经网络由两部分组成：一部分叫前向传播，另一部分叫反向传播。
由一个数据得出一个得分值，这样的过程称为前向传播。
由得分值在算出损失值之后，由LOSS值一步一步往回传，什么样的w的该更新，更新多大力度。这步叫反向传播。
最优化是在反向传播中体现出来的！
例如：
假如我们有三个样本点，x,y,z。x与y先进行相加操作，之后在和z进行乘法操作，得到的f值为-12。
我们现在要算一下，这些权重参数，对我们的LOSS值产生多大影响。
现在我们想算z对f产生多大影响？
f=q*z。我们将f对z进行求偏导。得出结果为3。如果z增大一倍，那么我们的f就会增大三倍。
我们为您想算x对f产生多大影响？
f=q*z.我们首先将f对q进行求导，结果为-4，之后将q对x求导，结果为1，根据链式法则，结果为-4*1 = -4。
链式法则：链式法则是微积分中的求导法则，用于求一个复合函数的导数，是在微积分的求导运算中一种常用的方法。复合函数的导数将是构成复合这个有限个函数在相应点的导数的乘积，就像锁链一样一环套一环，故称链式法则。
反向传播示意图
根据链式法则：L是不可以直接传到x或y的，L一定是首先先传到z，在由z传到x。传播方向是一步一步完成的。
反向传播示例
以上算法是将sigmod函数一步一步一步的进行求导而得的函数，那么可不可以对sigmod函数整体进行求导呢？
答案是也可以，如下图
在反向传播过程中，我们一般是整体来计算，并不是一步一步的进行计算。
门单元：
加法门单元：均等分配。
MAX门单元：给最大的。
乘法门单元：互换的感觉。