softmax交叉熵损失函数反向传播求导过程分析

softmax函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。

softmax函数的公式是这种形式：

$\large S _ { i } = \frac { e ^ { z _ { i } } } { \sum _ { k } e ^ { z _ { k } } }$

$\large S_{i}$ 代表的是第i个神经元的输出。ok，其实就是在输出后面套一个这个函数，在推导之前，我们统一一下网络中的各个表示符号，避免后面突然出现一个什么符号懵逼推导不下去了。

首先是神经元的输出，一个神经元如下图：

神经元的输出设为：

$\large z _ { i } = \sum _ { j } w _ { i j } x _ { i j } + b$

其中 $\large w_{ij}$ 是第 $\large i$ 个神经元的第 $\large j$ 个权重， $\large b$ 是偏移值， $\large z_{i}$ 表示该网络的第 $\large i$ 个神经元的输出。给这个输出加上一个softmax函数，那就变成了这样：

$\large a _ { i } = \frac { e ^ { z _ { i } } } { \sum _ { k } e ^ { z _ { k } } }$

$\large a_{i}$ 代表softmax的第 $\large i$ 个输出值，就是套用了softmax函数。

二、损失函数 loss function

在神经网络反向传播中，要求一个损失函数，这个损失函数其实表示的是真实值与网络的估计值的误差，知道误差了，才能知道怎样去修改网络中的权重。

损失函数可以有很多形式，这里用的是交叉熵函数，原因如下2个：

主要是由于这个求导结果比较简单，易于计算，
交叉熵解决某些损失函数学习缓慢的问题。

交叉熵的函数是这样的：

$\large C = - \sum _ { i } y _ { i } \ln a _ { i }$

其中 $\large y_{i}$ 表示真实的分类结果。到这里可能嵌套了好几层，不过不要担心，下面会一步步推导，强烈推荐在纸上写一写，有时候光看看着看着就迷糊了，自己边看边推导更有利于理解。

三、最后的准备工作

四、具体的推导过程

好了，这下正式开始，首先，我们要明确一下我们要求什么，我们要求的是我们的 $\large loss$ 对于神经元输出 $\large z_{i}$ 的梯度，即：
$\large \frac { \partial C } { \partial z _ { i } }$

根据复合函数求导法则：

$\large \frac { \partial C } { \partial z _ { i } } = \sum _ { j } \left( \frac { \partial C _ { j } } { \partial a _ { j } } \frac { \partial a _ { j } } { \partial z _ { i } } \right)$

由于有些朋友对于之前的写法有些疑惑，所以我这里修改了一下，这里为什么是 $\large a_{j}$ 而不是 $\large a_{i}$ 这里要看一下softmax的公式了，因为softmax公式的特性，它的分母包含了所有神经元的输出，所以，对于不等于 $\large i$ 的其他输出里面，也包含着 $\large z_{i}$ 所有的都要纳入到计算范围中，并且后面的计算可以看到需要分为 $\large i=j, i\neq j$ 两种情况求导。
下面我们一个一个推：

$\large \frac { \partial C _ { j } } { \partial a _ { j } } = \frac { \partial \left( - y _ { j } \ln a _ { j } \right) } { \partial a _ { j } } = - y _ { j } \frac { 1 } { a _ { j } }$

第二个稍微复杂一点，我们先把它分为两种情况：

①如果 $\large i=j$ ：

$\large \frac { \partial a _ { i } } { \partial z _ { i } } = \frac { \partial \left( \frac { e ^ { z _ { i } } } { \sum _ { k } e ^ { z _ { i k } } } \right) } { \partial z _ { i } } = \frac { \sum _ { k } e ^ { z _ { k } } e ^ { z _ { i } } - \left( e ^ { z _ { i } } \right) ^ { 2 } } { \left( \sum _ { k } e ^ { z _ { k } } \right) ^ { 2 } } = \left( \frac { e ^ { z _ { i } } } { \sum _ { k } e ^ { z _ { k } } } \right) \left( 1 - \frac { e ^ { z _ { i } } } { \sum _ { k } e ^ { z _ { k } } } \right) = a _ { i } \left( 1 - a _ { i } \right)$

②如果 $\large i\neq j$ :

$\large \frac { \partial a _ { j } } { \partial z _ { i } } = \frac { \partial \left( \frac { e ^ { i j } } { \sum _ { k } e ^ { - i k } } \right) } { \partial z _ { i } } = - e ^ { z _ { j } } \left( \frac { 1 } { \sum _ { k } e ^ { z _ { k } } } \right) ^ { 2 } e ^ { z i } = - a _ { i } a _ { j }$

接下来我们只需要把上面的组合起来：

$\large \frac { \partial C } { \partial z _ { i } } = \sum _ { j } \left( \frac { \partial C _ { j } } { \partial a _ { j } } \frac { \partial a _ { j } } { \partial z _ { i } } \right) = \sum _ { j \neq i } \left( \frac { \partial C _ { j } } { \partial a _ { j } } \frac { \partial a _ { j } } { \partial z _ { i } } \right) + \sum _ { i = j } \left( \frac { \partial C _ { j } } { \partial a _ { j } } \frac { \partial a _ { j } } { \partial z _ { i } } \right)$

$\large = \sum _ { j \neq i } - y _ { j } \frac { 1 } { a _ { j } } \left( - a _ { i } a _ { j } \right) + \left( - y _ { i } \frac { 1 } { a _ { i } } \right) \left( a _ { i } \left( 1 - a _ { i } \right) \right)$

$\large = \sum _ { j \neq i } a _ { i } y _ { j } + \left( - y _ { i } \left( 1 - a _ { i } \right) \right)$

$\large = \sum _ { j \neq i } a _ { i } y _ { j } + a _ { i } y _ { i } - y _ { i }$

$\large = a _ { i } \sum _ { j } y _ { j } - y _ { i }$

最后的结果看起来简单了很多，最后，针对分类问题，我们给定的结果 $\large y_{i}$ 最终只会有一个类别是1，其他类别都是0，因此，对于分类问题，这个梯度等于：
$\large \frac { \partial C } { \partial z _ { i } } = a _ { i } - y _ { i }$

参考作者：https://blog.csdn.net/qian99/article/details/78046329