接上一节求解解析梯度引出反向传播相关知识,高等数学上就是复合函数求导。
eg.
=>
函数可以表示为加法器和乘法器的组合电路,电路图表示如下:
函数对 的偏导数可根据所谓的Chain rule:
求得。
总结下求解过程,首先是拆分成各个组件,得到组件输出值,如 q = (x+y) = 3, f = qz = -12, 如上图绿色数值显示,是沿黑色箭头方向进行,此所谓前向传播 ,对 x 的偏导求解,先解出函数 f 对 q 偏导,再求 q 对 x 偏导,即可得到 f 对 x 偏导,此计算过程从最后一层,往第一层逐层进行,此所谓反向传播。此解法可应用到更复杂的函数,如
从标量应用到向量,梯度计算需要注意其维度是不变的,如下图 shape 为 2 x 2 ,
shape 仍然为 2 x 2。
以上就是关于反向传播的主要部分了,下面就是一些神经网络的内容。从大脑分析方面,将神经传播抽象成数学模型作了简要介绍,并给出神经网络架构。