深度学习之反向传播推导

反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：

• 将训练集数据输入到ANN的输入层， 经过隐藏层， 最后达到输出层并 输出结果， 这是ANN的前向传播过程；
• 由于ANN的输出结果与实际结果有误差， 则计算估计值与实际值之间 的误差， 并将该误差从输出层向隐藏层反向传播， 直至传播到输入层；
• 在反向传播的过程中， 根据误差调整各种参数的值； 不断迭代上述过 程， 直至收敛。

1、变量定义

上图是一个三层人工神经网络，layer1至layer3分别是输入层、隐藏层和输出层。如图，先定义一些变量：

• $w_{jk}^l$表示第$(l-1)$层的第$k$个神经元连接到$l$层的第$j$个神经元的权重；
• $b_j^l$表示第$l$层的第$j$个神经元的偏置；
• $z_j^l$表示第$l$层的第$j$个神经元的输入，即：$z_j^l=\sum_kw_{jk}^la_k^{l-1}+b_j^l$ - $a_j^l$表示第$l$层的第$j$个神经元的输出，即：$a_j^l=\sigma(\sum_kw_{jk}^la_k^{l-1}+b_j^l)$

• 其中$\sigma$表示激活函数

  2、代价函数

  代价函数被用来计算ANN输出值与实际值之间的误差。常用的代价函数是二次代价函数（Quadratic cost function）：
  

  $$C = \frac{1}{2n}\sum_x||y(x)-a^L(x)||^2$$
  其中，x表示输入的样本，y表示实际的分类，a^L表示预测的输出，L表示神经网络的最大层数

3、公式及其推导

首先，将第层第个神经元中产生的错误（即实际值与预测值之间的误差）定义为：

$$\delta \frac{\partial C}{\partial z_j^l}$$
本文将以一个输入样本为例进行说明，此时代价函数表示为：
$$C = \frac{1}{2}||y-a^L||^2 = \frac{1}{2}\sum_{j}(y_j-a_j^L)^2$$
公式1（计算最后一层神经网络产生的错误）：
$$\delta^2 = \nabla_aC\odot \sigma\prime(z^L)$$
其中， $\odot$表示Hadamard乘积，用于矩阵或向量之间点对点的乘法运算。公式1的推导过程如下：
$$\delta_j^L = \frac{\partial C}{\partial z_j^L} = \frac{\partial C}{\partial a_j^L}\cdot\frac{\partial a_j^L}{\partial z_j^L}$$
$$\delta_j^L = \frac{\partial C}{\partial a^L}\odot\frac{\partial a^L}{\partial z^L}= \nabla_a C \odot\sigma'(z^L)$$
公式2（由后往前，计算每一层神经网络产生的错误）：
$$\delta^l = ((w^{l+1})^T\delta^{l+1})\odot\sigma'(z^l)$$

推导过程：

$$\begin{aligned} \delta_j^L &= \frac{\partial C}{\partial z_j^L} \\ &=\sum_k \frac{\partial C}{\partial z_k^{l+1}}\cdot\frac{\partial a_k^{l+1}}{\partial a_j^l}\cdot\frac{\partial a_j^l}{\partial z_j^l} \\ &= \sum_k\delta_k^{l+1}\cdot\frac{\partial (w_{kj}^{l+1}a_j^l)+b_k^{l+1}}{\partial a_j^l}\cdot\sigma'(z_j^l) \\ &= \sum_k\partial_k^{l+1}\cdot w_{kj}^{l+1} \cdot\sigma'(z_j^l) \end{aligned}$$
得出：
$$\partial^l = ((w^{l+1})^T\delta^{l+1})\odot\sigma'(z^l)$$
公式3（计算权重的梯度）：
$$\frac{\partial C}{\partial w_{jk}^l} = a_k^{l-1}\delta_j^l$$
推导过程：
$$\frac{\partial C}{\partial w_{jk}^l} = \frac{\partial C}{\partial z_{j}^l}\cdot\frac{\partial z_j^l}{\partial w_{jk}^l} = \delta^l \frac{\partial (w_{jk}^{l}a_k^{l-1}+b_j^{l})}{\partial w_{jk}^l} = a_k^{l-1}\delta _j^l$$

公式4（计算偏置的梯度）：

$$\frac{\partial C}{\partial b_{j}^l} = \delta_j^l$$
推导过：
： $$\frac{\partial C}{\partial b_{j}^l} = \frac{\partial C}{\partial z_{j}^l}\cdot\frac{\partial z_j^l}{\partial b_{j}^l} = \delta^l \frac{\partial (w_{jk}^{l}a_k^{l-1}+b_j^{l})}{\partial b_{j}^l} = \delta _j^l$$

4. 反向传播算法伪码

输入训练集

对于训练集中的每个样本x，设置输入层（Input layer）对应的激活前
前向传播：

$$z^l = w^la^{l-1}+b^l ,a^l=\sigma(z^l)$$

计算输出层产生的错误：

$$\delta^2 = \nabla_aC\odot \sigma'(z^L)$$
反向传播错误:
$$\partial^l = ((w^{l+1})^T\delta^{l+1})\odot\sigma'(z^l)$$
使用梯度下降（gradient descent），训练参数：
$$w^l \longrightarrow w^l -\frac{\eta}{m}\sum_x\delta^{x,l}(a^{x,l-1})^T$$
$$b^l \longrightarrow b^l-\frac{\eta}{m}\sum_x\delta^{x,l}$$

内容来自：https://blog.csdn.net/u014313009/article/details/51039334