BP神经网络原理公式推导

如下图对一个两层简易神经网络，隐藏层的激活函数为sigmoid函数p(z)，则满足：

$${p}'=p\left ( 1-p \right )$$
初始化权重和偏置，即 $w_1, ...,w_8$均为已知数，可进行代入，输出 $Net_h,h$的值。

对loss求偏导，通过设置学习率可实现参数 $w_1, ...,w_8$的训练，在此仅给出 $w_5$的具体过程。

仅供自己学习参考备忘。