李宏毅深度学习笔记（九）BP(Back propagation)神经网络计算详解（手算）

这里我用一个实例来实现以下BP神经网络计算的过程：
这个实例中输入 $x_1=1$， $x_2=-1$，输出 $y=0.5$， $w_1$到 $w_6$为参数。

先通过上述模型计算出各个神经元的输入与输出：
构造损失函数，这里我们使用交叉熵损失函数 $C=-yln\hat y$， $y$为标签值， $\hat y$为计算出来的值。
接下来用反向传播来求解偏导数：

到这一步我们已经求出了各个参数的偏导数了，下一步就是更新参数了，我们设学习率 $\eta$为0.6

可以看到更新参数之后算得的 $\hat y'$比原来的 $\hat y$更接近0.5了，接下来只要按照上述的步骤一遍一遍进行操作就可以了。结束更新的操作可以是循环了k次或者 $\hat y$与 $y$之间的距离足够小。