人工智能是第四次人类革命，我们每一位应该把握住每次机会，去创造人类前所未有的科技
最近遇到一位小师弟，他让我给他推导一下前向传播和反向传播过程，于是我埋头在白纸上一步一步推导，最后，小师弟特别开心，在此过程中，我也更一步认识了这个知识点，感觉很开心！O(∩_∩)O~~
接下来我用Matt Mazur的例子，来简单告诉读者推导过程吧（其实就是链式）！
先初始化权重和偏置量，得到如下效果：
前向传播
- 先计算
的所有输入：
，代入数据可得：
;
- 然后利用logistic函数计算得
;
- 用同样的方法得
；
对输出层神经元重复这个过程，使用隐藏层神经元的输出作为输入。这样就能给出的输出：
，代入数据可得：
，则其输出为：
。
同样可以得到。
开始统计所有的误差
如上图，的原始输出为0.01，而神经网络的输出为0.75136507，则其误差为：
同样可得 。
综合所述，可以得到总误差为：。
反向传播
输出层
对于，想知道其改变对总误差有多少影响，于是得：
。
通过链式法则可以得到：
其实如下图所示，其实是一直在做的就是这个：
在这个过程中，需要弄清楚每一个部分。首先：
然后知：
最后得：
把它们放在一起就是：
为了减少误差，然后从当前的权重减去这个值（可选择乘以一个学习率，比如设置为0.5），得：
通过相同的步骤就可以得到：
在有新权重导入隐藏层神经元（即，当继续下面的反向传播算法时，使用原始权重，而不是更新的权重）之后，执行神经网络中的实际更新。
隐藏层
我们需要就算：
从图中其实更加明显可以看清楚：
得：
可知：
又因为：
所以：
结合可得：
同样可以得到：
因此：
我们知道logistic函数：
所以其求导为：
同样有前面前向传播可以知道：
得：
结合可得：
现在可以更新了。
同样的步骤可以得到：
最后，更新了所有的权重！ 当最初前馈传播时输入为0.05和0.1，网络上的误差是0.298371109。 在第一轮反向传播之后，总误差现在下降到0.291027924。 它可能看起来不太多，但是在重复此过程10,000次之后。例如，错误倾斜到0.000035085。
在这一点上，当前馈输入为0.05和0.1时，两个输出神经元产生0.015912196（相对于目标为0.01）和0.984065734（相对于目标为0.99）。很接近了O(∩_∩)O~~
备注：转自深度学习---反向传播的具体案例