如何理解神经网络的前向传播与反向传播机制？

神经网络的训练过程通常分为两个阶段： 前向传播和 反向传播。“前向传播”求 损失，“反向传播”回传 误差。本文的记号说明如下：

• $n_l：第l层神经元的个数；$
• $f(\cdot )：神经元的激活函数；$
• $W^{(l)}\in R^{n_{l-1}\times n_l}：第l-1层到第l层的权重矩阵；$
• $w_{ij}^{[l]}：第l-1层的第i个神经元到第l层的第j个神经元的权重；$
• $X^{(k)}=(x_1^{[k]},x_2^{[k]},\cdots ,x_{n_1}^{[k]}{)}^T\in R^{n_1}：表示第k个样本输入；$
• $Y^{(k)}=(y_1^{[k]},y_2^{[k]},\cdots ,y_{n_l}^{[k]}{)}^T\in R^{n_1}：表示第k个样本输出；$
• $B^{(l)}=(b_1^{[l]},b_2^{[l]},\cdots ,b_{n_l}^{[l]}{)}^T\in R^{n_l}：表示第l-1层到第l层的偏置；$
• $Z^{(l)}=(z_1^{[l]},z_2^{[l]},\cdots ,z_{n_l}^{[l]}{)}^T\in R^{n_l}：表示第l层神经元的状态；$
• $A^{(l)}=(a_1^{[l]},a_2^{[l]},\cdots ,a_{n_l}^{[l]}{)}^T\in R^{n_l}：表示第l层神经元的激活值（即输出值）。$

1. 信息前向传播

\qquad 所谓的前向传播算法就是从输入层开始，依次经过隐藏层（如果有）最终到达输出层的过程。将上一层的输出作为下一层的输入，并计算下一层的输出。数据每经过一层传播，其节点输出的值所代表的信息层次就越高阶和概括。

\qquad 三层神经网络的前向传播如下图（假设输入数据 x$=(x_1,x_2,x_3{)}^T$ 是三维的）：

\qquad 如图所示，$hiddenlayer$ 上一层的神经元与本层的神经元有连接，那么本层的神经元等于上一层神经元对应的权值进行加权和运算，然后通过一个非线性函数（激活函数）如 $ReLU$，$Sigmoid$ 等函数，最后得到的结果就是本层神经元的输出。逐层、逐神经元通过该操作向前传播，最终得到输出层的结果。

\qquad 对于 $hiddenlayer$，可以得到 $inputlayer$ 的输出结果作为输入，然后通过激活函数输出 $a_1^{[2]},a_2^{[2]},a_3^{[2]}$：
$$\begin{gathered} z_1^{[2]}=w_{11}^{[2]}{x}_1+w_{21}^{[2]}{x}_2+w_{31}^{[2]}{x}_3+b_1^{[2]} \\ {z}_2^{[2]}=w_{12}^{[2]}{x}_1+w_{22}^{[2]}{x}_2+w_{32}^{[2]}{x}_3+b_2^{[2]} \\ {z}_3^{[2]}=w_{13}^{[2]}{x}_1+w_{23}^{[2]}{x}_2+w_{33}^{[2]}{x}_3+b_3^{[2]} \\ {a}_1^{[2]}=f(z_1^{[2]}) \\ {a}_2^{[2]}=f(z_2^{[2]}) \\ {a}_3^{[2]}=f(z_3^{[2]}) \end{gathered}$$

\qquad 对于 $outputlayer$，可以得到 $hiddenlayer$ 的输出结果作为输入，然后通过激活函数输出 $a_1^{[3]},a_2^{[3]}$：
$$\begin{gathered} z_1^{[3]}=w_{11}^{[3]}{a}_1^{[2]}+w_{21}^{[3]}{a}_2^{[2]}+w_{31}^{[3]}{a}_3^{[2]}+b_1^{[3]} \\ {z}_2^{[3]}=w_{12}^{[3]}{a}_1^{[2]}+w_{22}^{[3]}{a}_2^{[2]}+w_{32}^{[3]}{a}_3^{[2]}+b_2^{[3]} \\ {a}_1^{[3]}=f(z_1^{[3]}) \\ {a}_2^{[3]}=f(z_2^{[3]}) \end{gathered}$$

\qquad 由此，可以得出第 $l$ 层神经元的状态及激活值为：
$$z_j^{[l]}=\sum _{i=1}^{n_l}{w}_{ij}^{[l]}{a}_j^{[l-1]}+b_j^{[l]}，a_j^{[l]}=f(z_j^{[l]})$$

\qquad 对于 $l(2<l\le L)$ 层感知器，网络的最终输出为 $A^{(L)}$。神经网络中的信息前向传播过程如下：
$$X=A^{(1)}\to Z^{(2)}\to \cdots \to A^{(L-1)}\to Z^{(L)}\to A^{(L)}=Y$$

2. 误差反向传播

\qquad 经过上一节的分析，我们可以得出这样的结论：所谓的前向传播说的就是，输入数据在神经网络的各层的各个节点之间传播的过程，最终得到结果输出出去。在这个过程中，神经网络中的各个节点的参数，即 $W^{(l)}$ 和 $B^{(l)}$ 是已知的。
\qquad 但是在实际的应用中，我们往往是知道了输入数据以及输出结果（针对监督学习来说，输出结果通常指分类标签），想要求取一个结构设计好的神经网络的参数（$W^{(l)}$ 和 $B^{(l)}$）。通常来说，在神经网络采用最多也是最有效的方法是梯度下降法。（一文读懂梯度下降法）
\qquad 误差反向传播算法简称反向传播算法（Back Propagation，缩写为 $BP$），是一种与最优化方法（例如：梯度下降法）结合使用并用来训练人工神经网络的常见方法。使用反向传播算法的多层感知器又称为 $BP$ 神经网络。
\qquad 假设训练数据为 { ( X ( 1 ) , O ( 1 ) ) , ( X ( 2 ) , O ( 2 ) ) ,   ⋯   , ( X ( k ) , O ( k ) ) ,   ⋯   , ( X ( N ) , O ( N ) ) } \{(X^{(1)},O^{(1)}),(X^{(2)},O^{(2)}),\ \cdots,(X^{(k)},O^{(k)}),\ \cdots,(X^{(N)},O^{(N)})\} { (X(1),O(1)),(X(2),O(2)), ⋯,(X(k),O(k)), ⋯,(X(N),O(N))}，即共有 $N$ 个训练样本，其中 $O^{(k)}=(o_1^{[k]},\cdots ,o_{n_L}^{[k]}{)}^T$，$k$ 为第 $k$ 个样本。信息前向传播算法的下一步，就是计算预测输出 $Y$ 和训练集真实结果 $O$ 之间的误差，这个误差就叫做误差信号，然后将误差信号反向传播给前面的各层来调整网络参数（$W^{(l)}$ 和 $B^{(l)}$），不断迭代上述过程，直至收敛（误差信号最小化）。
\qquad 首先，我们需要定义一个损失函数。损失函数是用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。本节我们采用平方差损失函数：
$$\begin{gathered} 单个样本损失：Los{s}^{(k)}=\frac{1}{2}(O^{(k)}-Y^{(k)}{)}^2=\frac{1}{2}\sum _{j=1}^{n_L}(o_j^{[k]}-y_j^{[k]}{)}^2 \\ 总体样本的平均损失：L_{total}=\frac{1}{N}\sum _{k=1}^{N}Los{s}^{(k)} \end{gathered}$$

\qquad 三层神经网络的反向传播如下图：

\qquad 根据上图的三层神经网络可知 $n_L=2,Y^{(k)}=(y_1^{[k]},y_2^{[k]}),Los{s}^{(k)}=\frac{1}{2}\left[(o_1^{[k]}-y_1^{[k]}{)}^2+(o_2^{[k]}-y_2^{[k]}{)}^2\right]=\frac{1}{2}\left[(o_1^{[k]}-a_1^{[3]}{)}^2+(o_2^{[k]}-a_2^{[3]}{)}^2\right]$，如果展开到隐藏层，则有：$Los{s}^{(k)}=\frac{1}{2}\left[(o_1^{[k]}-f(w_{11}^{[3]}{a}_1^{[2]}+w_{21}^{[3]}{a}_2^{[2]}+w_{31}^{[3]}{a}_3^{[2]}+b_1^{[3]}){)}^2+(o_2^{[k]}-f(w_{12}^{[3]}{a}_1^{[2]}+w_{22}^{[3]}{a}_2^{[2]}+w_{32}^{[3]}{a}_3^{[2]}+b_2^{[3]}){)}^2\right]$，还可以进一步展开到输入层（替换掉 $a_1^{[2]},a_2^{[2]},a_3^{[2]}$ 即可），由此可见损失函数 $Los{s}^{(k)}$ 仅与权重矩阵 $W^{(l)}$ 和偏置向量 $B^{(l)}$ 有关，调整权重与偏置即可增大或减小误差。

\qquad 如果我们采用梯度下降法（批量梯度下降法），可以使用下面公式更新参数：
$$\begin{gathered} W^{(l)}=W^{(l)}-lr\cdot \frac{\partial L_{total}}{\partial W^{(l)}}=W^{(l)}-\frac{lr}{N}\cdot \sum _{i=1}^N\frac{\partial Los{s}^{(k)}}{\partial W^{(l)}} \\ {B}^{(l)}=B^{(l)}-lr\cdot \frac{\partial L_{total}}{\partial B^{(l)}}=B^{(l)}-\frac{lr}{N}\cdot \sum _{i=1}^N\frac{\partial Los{s}^{(k)}}{\partial B^{(l)}} \\ （lr为学习率） \\ (只需求得单个训练样本的损失函数Los{s}^{(k)}对参数的偏导数\frac{\partial Los{s}^{(k)}}{\partial W^{(l)}}，\frac{\partial Los{s}^{(k)}}{\partial B^{(l)}}即可得到参数的迭代更新) \end{gathered}$$

单个训练样本反向传播

1. 计算误差

$$Los{s}^{(k)}=\frac{1}{2}\sum _{j=1}^2(o_j^{[k]}-y_j^{[k]}{)}^2=\frac{1}{2}\left[(o_1^{[k]}-y_1^{[k]}{)}^2+(o_2^{[k]}-y_2^{[k]}{)}^2\right]=\frac{1}{2}\left[(o_1^{[k]}-a_1^{[3]}{)}^2+(o_2^{[k]}-a_2^{[3]}{)}^2\right]$$

2. 输出层 $\Rightarrow$ 隐藏层的参数更新

$$\begin{gathered} Los{s}^{(k)}=\frac{1}{2}\left[(o_1^{[k]}-a_1^{[3]}{)}^2+(o_2^{[k]}-a_2^{[3]}{)}^2\right]=\frac{1}{2}\left[(o_1^{[k]}-f(z_1^{[3]}){)}^2+(o_2^{[k]}-f(z_2^{[3]}){)}^2\right] \\ =\frac{1}{2}\left[(o_1^{[k]}-f(w_{11}^{[3]}{a}_1^{[2]}+w_{21}^{[3]}{a}_2^{[2]}+w_{31}^{[3]}{a}_3^{[2]}+b_1^{[3]}){)}^2+(o_2^{[k]}-f(w_{12}^{[3]}{a}_1^{[2]}+w_{22}^{[3]}{a}_2^{[2]}+w_{32}^{[3]}{a}_3^{[2]}+b_2^{[3]}){)}^2\right] \end{gathered}$$

$根据$ 链式求导法则，$对于outputlayer的权重参数w_{ij}^{[3]}求偏导，可得：$

$\frac{\partial Los{s}^{(k)}}{\partial w_{11}^{[3]}}=\frac{\partial Los{s}^{(k)}}{\partial f(z_1^{[3]})}\cdot \frac{\partial f(z_1^{[3]})}{\partial z_1^{[3]}}\cdot \frac{\partial z_1^{[3]}}{\partial w_{11}^{[3]}}=\frac{1}{2}\cdot 2\cdot (o_1^{[k]}-f(z_1^{[3]}))\cdot (-1)\cdot f^{\prime }(z_1^{[3]})\cdot \frac{\partial z_1^{[3]}}{\partial w_{11}^{[3]}}=-(o_1^{[k]}-f(z_1^{[3]}))\cdot f^{\prime }(z_1^{[3]})\cdot a_1^{[2]}$
$$同理：\frac{\partial Los{s}^{(k)}}{\partial w_{21}^{[3]}}=-(o_1^{[k]}-f(z_1^{[3]}))\cdot f^{\prime }(z_1^{[3]})\cdot a_2^{[2]}，\frac{\partial Los{s}^{(k)}}{\partial w_{31}^{[3]}}=-(o_1^{[k]}-f(z_1^{[3]}))\cdot f^{\prime }(z_1^{[3]})\cdot a_3^{[2]}$$

$\frac{\partial Los{s}^{(k)}}{\partial w_{12}^{[3]}}=\frac{\partial Los{s}^{(k)}}{\partial f(z_2^{[3]})}\cdot \frac{\partial f(z_2^{[3]})}{\partial z_2^{[3]}}\cdot \frac{\partial z_2^{[3]}}{\partial w_{12}^{[3]}}=\frac{1}{2}\cdot 2\cdot (o_2^{[k]}-f(z_2^{[3]}))\cdot (-1)\cdot f^{\prime }(z_2^{[3]})\cdot \frac{\partial z_2^{[3]}}{\partial w_{12}^{[3]}}=-(o_2^{[k]}-f(z_2^{[3]}))\cdot f^{\prime }(z_2^{[3]})\cdot a_1^{[2]}$
$$同理：\frac{\partial Los{s}^{(k)}}{\partial w_{22}^{[3]}}=-(o_2^{[k]}-f(z_2^{[3]}))\cdot f^{\prime }(z_2^{[3]})\cdot a_2^{[2]}，\frac{\partial Los{s}^{(k)}}{\partial w_{32}^{[3]}}=-(o_2^{[k]}-f(z_2^{[3]}))\cdot f^{\prime }(z_2^{[3]})\cdot a_3^{[2]}$$

$\frac{\partial Los{s}^{(k)}}{\partial b_1^{[3]}}=\frac{\partial Los{s}^{(k)}}{\partial f(z_1^{[3]})}\cdot \frac{\partial f(z_1^{[3]})}{\partial z_1^{[3]}}\cdot \frac{\partial z_1^{[3]}}{\partial b_1^{[3]}}=\frac{1}{2}\cdot 2\cdot (o_1^{[k]}-f(z_1^{[3]}))\cdot (-1)\cdot f^{\prime }(z_1^{[3]})\cdot 1=-(o_1^{[k]}-f(z_1^{[3]}))\cdot f^{\prime }(z_1^{[3]})$
$$同理：\frac{\partial Los{s}^{(k)}}{\partial b_2^{[3]}}=-(o_2^{[k]}-f(z_2^{[3]}))\cdot f^{\prime }(z_2^{[3]})$$

$如果我们把\frac{\partial Los{s}^{(k)}}{\partial z_j^{[l]}}记作{\delta }_j^{[l]}$，则 $\frac{\partial Los{s}^{(k)}}{\partial w_{11}^{[3]}}=\frac{\partial Los{s}^{(k)}}{\partial z_1^{[3]}}\cdot \frac{\partial z_1^{[3]}}{\partial w_{11}^{[3]}}={\delta }_1^{[3]}\cdot a_1^{[2]}，其中{\delta }_1^{[3]}=-(o_1^{[k]}-f(z_1^{[3]}))\cdot f^{\prime }(z_1^{[3]})，$
$$同理：\frac{\partial Los{s}^{(k)}}{\partial w_{21}^{[3]}}={\delta }_1^{[3]}\cdot a_2^{[2]}，\frac{\partial Los{s}^{(k)}}{\partial w_{31}^{[3]}}={\delta }_1^{[3]}\cdot a_3^{[2]}$$
$相应地，\frac{\partial Los{s}^{(k)}}{\partial w_{12}^{[3]}}=\frac{\partial Los{s}^{(k)}}{\partial z_2^{[3]}}\cdot \frac{\partial z_2^{[3]}}{\partial w_{12}^{[3]}}={\delta }_2^{[3]}\cdot a_1^{[2]}，其中{\delta }_2^{[3]}=-(o_2^{[k]}-f(z_2^{[3]}))\cdot f^{\prime }(z_2^{[3]})$
$$同理：\frac{\partial Los{s}^{(k)}}{\partial w_{22}^{[3]}}={\delta }_2^{[3]}\cdot a_2^{[2]}，\frac{\partial Los{s}^{(k)}}{\partial w_{32}^{[3]}}={\delta }_2^{[3]}\cdot a_3^{[2]}$$
$推广到一般情况，假设神经网络共L层，则：$
$$\begin{gathered} {\delta }_j^{(L)}=-(o_j^{[k]}-f(z_j^{[L]}))\cdot f^{\prime }(z_j^{[L]})(1\le j\le n_L，k为样本数) \\ \frac{\partial Los{s}^{(k)}}{\partial w_{ij}^{[L]}}={\delta }_j^{[L]}\cdot a_i^{[L-1]} \end{gathered}$$
$如果把上面两式表达为$ 矩阵（向量）$形式，则：$
$$\begin{gathered} {\delta }^{(L)}\text{δ(L)}{\delta }^{(L)}=-(Y-f(Z^{[L]}))\odot f^{\prime }(Z^{[L]}) \\ {\nabla }_{W^{(L)}}Loss={\delta }^{(L)}\text{δ(L)}{\delta }^{(L)}\cdot (A^{(L-1)}{)}^T \end{gathered}$$
\qquad 注：符号 $\odot$ 表示哈达玛积（$Hadamardproduct$），是矩阵的一类运算，把矩阵对应位置的元素分别相乘即可。
$$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]\odot \left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1n}\\ b_{21}& b_{22}& \cdots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{m1}& b_{m2}& \cdots & b_{mn}\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \cdots & a_{1n}{b}_{1n}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \cdots & a_{2n}{b}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}& \cdots & a_{mn}{b}_{mn}\end{array}\right]$$

3. 隐藏层 $\Rightarrow$ 输入层的参数更新

3.1 隐藏层 $\Rightarrow$ 输入层的权重参数更新

$根据$ 链式求导法则，$对于hiddenlayer的权重参数w_{ij}^{[l]}求偏导，利用{\delta }_j^{[l]}可得：$

$$\frac{\partial Los{s}^{(k)}}{\partial w_{ij}^{[l]}}=\frac{\partial Los{s}^{(k)}}{\partial z_j^{[l]}}\cdot \frac{\partial z_j^{[l]}}{\partial w_{ij}^{[l]}}={\delta }_j^{[l]}\cdot \frac{\partial z_j^{[l]}}{\partial w_{ij}^{[l]}}={\delta }_j^{[l]}\cdot a_i^{[l-1]}$$

$如图所示，当2\le l\le L-1时：{\delta }_i^{[l]}=\frac{\partial Los{s}^{(k)}}{\partial z_i^{[l]}}=\sum _{j=1}^{n_{l+1}}\frac{\partial Los{s}^{(k)}}{\partial z_j^{[l+1]}}\cdot \frac{\partial z_j^{[l+1]}}{\partial z_i^{[l]}}=\sum _{j=1}^{n_{l+1}}{\delta }_j^{[l+1]}\cdot \frac{\partial z_j^{[l+1]}}{\partial z_i^{[l]}}$

$由于z_j^{[l+1]}=\sum _{i=1}^{n_l}{w}_{ij}^{[l+1]}{a}_j^{[l]}+b_j^{[l+1]}=\sum _{i=1}^{n_l}{w}_{ij}^{[l+1]}f(z_j^{[l]})+b_j^{[l+1]}，所以有\frac{\partial z_j^{[l+1]}}{\partial z_i^{[l]}}=\frac{\partial z_j^{[l+1]}}{\partial a_i^{[l]}}\cdot \frac{\partial a_i^{[l]}}{\partial z_i^{[l]}}=w_{ij}^{[l+1]}\cdot f^{\prime }(z_i^{[l]})，代入到前面的{\delta }_i^{[l]}可得：{\delta }_i^{[l]}=\left(\sum _{j=1}^{n_{l+1}}{\delta }_j^{[l+1]}\cdot w_{ij}^{[l+1]}\right)\cdot f^{\prime }(z_i^{[l]})$

$上式是反向传播算法最核心的算法，它使用第l+1层的{\delta }^{[l+1]}\text{δ[l+1]}{\delta }^{[l+1]}来计算l层的{\delta }^{[l]}\text{δ[l]}{\delta }^{[l]}，这就是$ “误差反向传播算法” $名字的由来。将它表达为矩阵（向量）形式为：$
$${\delta }^{(l)}\text{δ(l)}{\delta }^{(l)}=((W^{(l+1)}{)}^T\cdot {\delta }^{(l+1)}\text{δ(l+1)}{\delta }^{(l+1)})\odot f(Z^{(l)})$$

3.2 隐藏层 $\Rightarrow$ 输入层的偏置参数更新

$$\begin{gathered} \frac{\partial Los{s}^{(k)}}{\partial b_j^{[l]}}=\frac{\partial Los{s}^{(k)}}{\partial z_j^{[l]}}\cdot \frac{\partial z_j^{[l]}}{\partial b_j^{[l]}}={\delta }_j^{[l]}\cdot (1)={\delta }_j^{[l]} \\ 对应的矩阵（向量）形式：{\nabla }_{B^{(l)}}Los{s}^{(k)}={\delta }^{(l)}\text{δ(l)}{\delta }^{(l)} \end{gathered}$$

4. 反向神经网络的 4 个核心公式

普通形式	矩阵（向量）形式
${\delta }_j^{(L)}=-(o_j^{[k]}-f(z_j^{[L]}))\cdot f^{\prime }(z_j^{[L]})$	${\delta }^{(L)}\text{δ(L)}{\delta }^{(L)}=-(Y-f(Z^{[L]}))\odot f^{\prime }(Z^{[L]})$
${\delta }_i^{[l]}=\left(\sum _{j=1}^{n_{l+1}}{\delta }_j^{[l+1]}\cdot w_{ij}^{[l+1]}\right)\cdot f^{\prime }(z_i^{[l]})$	${\delta }^{(l)}\text{δ(l)}{\delta }^{(l)}=((W^{(l+1)}{)}^T\cdot {\delta }^{(l+1)}\text{δ(l+1)}{\delta }^{(l+1)})\odot f(Z^{(l)})$
$\frac{\partial Los{s}^{(k)}}{\partial w_{ij}^{[l]}}={\delta }_j^{[l]}\cdot a_i^{[l-1]}$	${\nabla }_{W^{(L)}}Loss={\delta }^{(L)}\text{δ(L)}{\delta }^{(L)}\cdot (A^{(L-1)}{)}^T$
$\frac{\partial Los{s}^{(k)}}{\partial b_j^{[l]}}={\delta }_j^{[l]}$	${\nabla }_{B^{(l)}}Los{s}^{(k)}={\delta }^{(l)}\text{δ(l)}{\delta }^{(l)}$

5. 总结

$反向传播算法计算某个训练数据的代价函数对参数的偏导数的具体步骤总结如下：$

1. 初始化参数 $W,B$
   \qquad 一般地，把 $w_{ij}^{(l)},b_j^{(l)},(2\le l\le L)$ 初始化为一个很小的，接近于零的随机值，注：不要把 $w_{ij}^{(l)},b_j^{(l)},(2\le l\le L)$ 全部初始化为零或者其他相同的值。
2. 利用下面的“前向传播”公式计算每层的状态和激活值：
   $$\begin{gathered} Z^{(l)}=W^{(l)}{A}^{(l-1)}+B^l \\ {A}^{(l)}=f(Z^{(l)}) \end{gathered}$$
3. 计算 ${\delta }^{(l)}\text{δ(l)}{\delta }^{(l)}$：
   （1）首先，利用下面公式计算输出层的 ${\delta }^{(L)}\text{δ(L)}{\delta }^{(L)}:$
   $${\delta }_j^{(L)}=-(o_j^{[k]}-f(z_j^{[L]}))\cdot f^{\prime }(z_j^{[L]})(1\le j\le n_L)$$
   （2）然后，利用下面公式计算第 $L-1$ 层到第 $2$ 层的 ${\delta }^{(l)}\text{δ(l)}{\delta }^{(l)}$：
   $${\delta }_i^{[l]}=\left(\sum _{j=1}^{n_{l+1}}{\delta }_j^{[l+1]}\cdot w_{ij}^{[l+1]}\right)\cdot f^{\prime }(z_i^{[l]})(1\le j\le n_l)$$
4. 计算训练数据的代价函数对参数的偏导数：
   $$\begin{gathered} \frac{\partial Los{s}^{(k)}}{\partial w_{ij}^{[l]}}={\delta }_j^{[l]}\cdot a_i^{[l-1]} \\ \frac{\partial Los{s}^{(k)}}{\partial b_j^{[l]}}={\delta }_j^{[l]} \end{gathered}$$
5. 梯度下降法（批量梯度下降法）更新参数：
   $$\begin{gathered} W^{(l)}=W^{(l)}-lr\cdot \frac{\partial L_{total}}{\partial W^{(l)}}=W^{(l)}-\frac{lr}{N}\cdot \sum _{i=1}^N\frac{\partial Los{s}^{(k)}}{\partial W^{(l)}} \\ {B}^{(l)}=B^{(l)}-lr\cdot \frac{\partial L_{total}}{\partial B^{(l)}}=B^{(l)}-\frac{lr}{N}\cdot \sum _{i=1}^N\frac{\partial Los{s}^{(k)}}{\partial B^{(l)}} \\ （lr为学习率） \end{gathered}$$