深度神经网络DNN的反向传播原理及推导

DNN反向传播推导

---

1.统一符号

如上图所示，我们先统一一下符号：

$w$ 权重
$z$ 输入值
$b$ 偏置bais
$a$ 激活值
$\sigma$ 激活函数

$w_{43}^2$ 表示第2层隐层上的第4个神经元上由前一层的第3个神经元链接过来的权重
$b_2^3$ 表示第3层隐层的第二个神经元的偏置
$a_1^2$ 表示第2层隐层上第1个神经元的激活值
$z_1^2$ 表示第2层隐层上第1个神经元的输入值

于是有

$$z_2^3=(a_1^2{w}_{21}^3+a_2^2{w}_{22}^3+a_3^2{w}_{23}^3+a_4^2{w}_{24}^3)+b_2^3$$
$$a_2^3=\sigma (z_2^3)$$

---

2.前向传播

好，我们然后用符号代替掉数字：

$w_{jk}^l$ 表示第l层隐层上的第j个神经元上由前一层的第k个神经元链接过来的权重
$b_j^l$ 表示第l层隐层的第j个神经元的偏置
$a_j^l$ 表示第l层隐层上第j个神经元的激活值
$z_j^l$ 表示第l层隐层上第j个神经元的输入值

于是我们有：
$$z_j^l=\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l$$
$$a_j^l=\sigma (z_j^l)=\sigma (\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l)$$

使用向量表示：
$$a^l=\sigma (z^l)=\sigma (w^l{a}^{l-1}+b^l)$$

---

3.损失函数

假设我们使用均方误差MSE作为损失函数
$$C=\frac{1}{2n}\sum _x\Vert y(x)-a^L(x){\Vert }^2$$

$a^L$就是最后一层的激活输出，L代表最后一层，$y(x)$代表输入为x时候的Ground Truth

我们写成向量表示：
$$C=\frac{1}{2}\Vert y-a^L{\Vert }^2=\frac{1}{2}\sum _j(y_j-a_j^L{)}^2$$

我们的目标就是要优化$C$，使其最小。

---

4.关于BP的重要说明

对$C$来说，变量不是输入的$x$和中间隐层的$a$，而是$w$。我们要使用$C对w$的梯度来做梯度下降，去改变$w$,以达到一个目的，就是求得一组$w$使得对输入的所有图像或数据$x$使$平均C$最小。所以实际上我们在这个问题中最关心的就是$C对w$的梯度：

$$\frac{\partial C}{\partial w_{jk}^l}$$
以及$C对bias的梯度：$
$$\frac{\partial C}{\partial b_j^l}$$

BP反向传播是相对于正向求导计算而言的，那为什么要使用BP反向传播来计算这两个梯度呢?
答案是是因为计算比较快。为什么计算比较快,我们先来看看直接算梯度为什么比较慢.

我们来看这样一个有2个隐层的神经网络,我们要求$\frac{\partial C}{\partial w_{11}^2}$

$$\begin{gathered} \frac{\partial C}{\partial w_{11}^2}=\frac{\partial (loss(a_1^4)+loss(a_2^4))}{\partial w_{11}^2} \\ =\frac{\partial (loss(a_1^4))}{\partial w_{11}^2}+\frac{\partial (loss(a_2^4))}{\partial w_{11}^2} \\ =\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial w_{11}^2}+\frac{\partial C}{\partial a_2^4}\frac{\partial a_2^4}{\partial w_{11}^2} \end{gathered}$$

假设我们要计算$a_1^4到C$这条路径,如红色箭头所示,$w_{11}^2$影响的所有神经元都要纳入计算

$$\frac{\partial C}{\partial a_1^4}容易求得$$

$$重点看\frac{\partial a_1^4}{\partial w_{11}^2}$$
由于$a_1^4=\sigma (z_1^4)而z_1^4=a_1^3{w}_{11}^4+a_2^3{w}_{12}^4+a_3^3{w}_{13}^4+a_4^3{w}_{13}^4$所以,
$$\frac{\partial a_1^4}{\partial w_{11}^2}=\frac{\partial a_1^4}{\partial z_1^4}(\frac{\partial a_1^3{w}_{11}^4}{\partial w_{11}^2}+\frac{\partial a_2^3{w}_{12}^4}{\partial w_{11}^2}+\frac{\partial a_3^3{w}_{13}^4}{\partial w_{11}^2}+\frac{\partial a_4^3{w}_{13}^4}{\partial w_{11}^2})$$
好,我们继续往下推,上式中红色部分:
$$\begin{gathered} \frac{\partial a_1^3{w}_{11}^4}{\partial w_{11}^2} \\ =w_{11}^4\frac{\partial a_1^3}{\partial z_1^3}(\frac{\partial a_1^2{w}_{11}^3}{\partial w_{11}^2}+\frac{\partial a_2^2{w}_{12}^3}{\partial w_{11}^2}+\frac{\partial a_3^2{w}_{13}^4}{\partial w_{13}^3}) \end{gathered}$$
此时我们发现,
$$\frac{\partial a_2^2{w}_{12}^3}{\partial w_{11}^2}和\frac{\partial a_3^2{w}_{13}^4}{\partial w_{13}^3}都不是w_{11}^2的函数,所以都为0$$
于是,
$$\begin{gathered} \frac{\partial a_1^3{w}_{11}^4}{\partial w_{11}^2} \\ =w_{11}^4\frac{\partial a_1^3}{\partial z_1^3}(\frac{\partial a_1^2{w}_{11}^3}{\partial w_{11}^2}) \end{gathered}$$
于是乎同理得,

$$\begin{gathered} \frac{\partial a_1^4}{\partial w_{11}^2}=\frac{\partial a_1^4}{\partial z_1^4}(\frac{\partial a_1^3{w}_{11}^4}{\partial w_{11}^2}+\frac{\partial a_2^3{w}_{12}^4}{\partial w_{11}^2}+\frac{\partial a_3^3{w}_{13}^4}{\partial w_{11}^2}+\frac{\partial a_4^3{w}_{13}^4}{\partial w_{11}^2}) \\ =\frac{\partial a_1^4}{\partial z_1^4}(w_{11}^4\frac{\partial a_1^3}{\partial z_1^3}(\frac{\partial a_1^2{w}_{11}^3}{\partial w_{11}^2})+w_{12}^4\frac{\partial a_2^3}{\partial z_2^3}(\frac{\partial a_1^2{w}_{21}^3}{\partial w_{11}^2})+w_{13}^4\frac{\partial a_3^3}{\partial z_3^3}(\frac{\partial a_1^2{w}_{31}^3}{\partial w_{11}^2})+w_{14}^4\frac{\partial a_4^3}{\partial z_4^3}(\frac{\partial a_1^2{w}_{41}^3}{\partial w_{11}^2})) \\ =\frac{\partial a_1^4}{\partial z_1^4}(w_{11}^4\frac{\partial a_1^3}{\partial z_1^3}(w_{11}^3{x}_1)+w_{12}^4\frac{\partial a_2^3}{\partial z_2^3}(w_{21}^3{x}_1)+w_{13}^4\frac{\partial a_3^3}{\partial z_3^3}(w_{31}^3{x}_1)+w_{14}^4\frac{\partial a_4^3}{\partial z_4^3}(w_{41}^3{x}_1)) \\ =A \end{gathered}$$

$$\begin{gathered} \frac{\partial a_2^4}{\partial w_{11}^2}=\frac{\partial a_1^4}{\partial z_1^4}(w_{21}^4\frac{\partial a_1^3}{\partial z_1^3}(w_{11}^3{x}_1)+w_{22}^4\frac{\partial a_2^3}{\partial z_2^3}(w_{21}^3{x}_1)+w_{23}^4\frac{\partial a_3^3}{\partial z_3^3}(w_{31}^3{x}_1)+w_{24}^4\frac{\partial a_4^3}{\partial z_4^3}(w_{41}^3{x}_1)) \\ =B \end{gathered}$$

最后,
$$\begin{gathered} \frac{\partial C}{\partial w_{11}^2}=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial w_{11}^2}+\frac{\partial C}{\partial a_2^4}\frac{\partial a_2^4}{\partial w_{11}^2} \\ =\frac{\partial C}{\partial a_1^4}A \\ +\frac{\partial C}{\partial a_2^4}B \end{gathered}$$

至此,这个问题就基本清楚了.

我们看到,正向计算的时候每计算一个$\frac{\partial C}{\partial w_{jk}^l}$都要把$w_{jk}^l到C$所有路径上的local偏导数进行计算一遍，全连接的深度神经网络的链接数量是以亿计的，像这样每求一个梯度都要把几亿个路径算一遍是非常耗时耗力的.可从上面的推导可以看到,$A$和$B$中很多计算有重复,那有没有一种方法能把这些重复的计算事先算好然后简单的通过前后层的关系就能计算出梯度呢?这样就不必搜索所有的相关路径计算了.

有,那就是BP. 当然BP只是一个求偏导的数学技巧，是方法不是目的。

有了梯度之后，我们只要知道学习率$\eta$,然后把所有的$w_{jk}^l-\eta \ast \frac{\partial C}{\partial w_{jk}^l}$就得到了一组新的权重。（梯度是函数最快上升的方向，所以这边是减号，最快下降的方向。
）这组权重必然会使$C$减小，反复如此，直到学习到$\frac{\partial C}{\partial w_{jk}^l}$都趋近于0了，理论上就是到了一个局部的底，权重的学习也就减缓直至不再变化了。如此就完成了网络的学习。

---

5.BP推导

1） 我们令
$${\delta }_j^l=\frac{\partial C}{\partial z_j^l}$$
**称作BP误差，Error , BP的精髓就是它 **

2） 则最后一层的误差：
$${\delta }_j^L=\frac{\partial C}{\partial z_j^L}$$
由于：
$$a_j^L=\sigma (z_j^L+b_j^L)$$

根据链式法则：
$${\delta }_j^L=\frac{\partial C}{\partial a_j^L}\frac{\partial a_j^L}{\partial z_j^L}=\frac{\partial C}{\partial a_j^L}{\sigma }^{\prime }(z_j^L)\text{(1)}$$

3） 由于
$$\begin{gathered} {\delta }_j^l=\frac{\partial C}{\partial z_j^l} \\ =\sum _k\frac{\partial C}{\partial z_k^{l+1}}\frac{\partial z_k^{l+1}}{\partial z_j^l} \end{gathered}$$
(上式需要细细品味一下，特别是为什么需要${\sum }_k$符号，主要是要包含被$w$影响的所有路径)
并且
$${\delta }_j^{l+1}=\frac{\partial C}{\partial z_j^{l+1}}$$
则：
$${\delta }_j^l=\sum _k\frac{\partial z_k^{l+1}}{\partial z_j^l}{\delta }_k^{l+1}\text{(2)}$$
至此，前一层和后一层的误差的关系已然浮出水面

4） 接下来来看我们最关心的$C对w$的梯度$\frac{\partial C}{\partial w_{jk}^l}$以及C对bias的梯度$\frac{\partial C}{\partial b_j^l}$

由于
$$z_j^l=\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l$$
则
$$\begin{gathered} \frac{\partial C}{\partial w_{jk}^l}=\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial w_{jk}^l} \\ ={\delta }_j^l{a}_k^{l-1}\text{(3)} \end{gathered}$$

$$\begin{gathered} \frac{\partial C}{\partial b_j^l}=\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial b_j^l} \\ ={\delta }_j^l\ast 1={\delta }_j^l\text{(4)} \end{gathered}$$

至此，我们获得了$(1)(2)(3)(4)$四个BP的公式，证毕。

---

6.总结一下

当我们有

$${\delta }_j^L=\frac{\partial C}{\partial a_j^L}{\sigma }^{\prime }(z_j^L)\text{(1)}$$

$${\delta }_j^l=\sum _k\frac{\partial z_k^{l+1}}{\partial z_j^l}{\delta }_k^{l+1}\text{(2)}$$

$$\frac{\partial C}{\partial w_{jk}^l}={\delta }_j^l{a}_k^{l-1}\text{(3)}$$

$$\frac{\partial C}{\partial b_j^l}={\delta }_j^l\ast 1={\delta }_j^l\text{(4)}$$

又由于损失函数：
$$C=\frac{1}{2}\Vert y-a^L{\Vert }^2=\frac{1}{2}\sum _j(y_j-a_j^L{)}^2$$
所以
$$\frac{\partial C}{\partial a_j^L}=(y_j-a_j^L)$$
我们发现所有等号右边的值都可求解了，最神奇的是梯度只和误差还有前一层的输出有关,不必去计算所有路径了,而且对于一次梯度下降，每个神经元的$\delta$都只需要计算一遍，存下来计算其他节点直接可以用，复杂度极大降低,至此我们就彻底搞明白了为什么要用BP以及BP是怎样推导的。