Caffe Softmax 层的实现原理【细节补充】

本文是看了知乎的这篇文章以后觉得作者写的很好，但是有些细节讲解得不够详细，回复里面大家也多有疑问，特加以补充：

为了对原作者表示尊重和感谢，先注明原作出处：

作者：John Wang

链接：https://www.zhihu.com/question/28927103/answer/78810153

作者原文和我的补充

====================================

设 z 是 softmax loss 层的输入，f(z)是 softmax 的输出，即

$f(z_k)=\frac{e^{z_k}}{\sum_j e^{z_j}}$
y 是输入样本 z 对应的类别，y=0,1,...,N
对于 z ，其损失函数定义为
$l(y,z)=-logf(z_y)$
展开上式：
$l(y,z)=log\sum_j e^{z_j}-z_y$
对上式求导，有
$\frac{\partial l(y,z)}{\partial z}=\frac{e^{z_y}}{\sum_j e^{z_j}}-1=f(z_y)-1$
梯度下降方向即为
$-\frac{\partial l(y,z)}{\partial z}=1-f(z_y)$
====================================

增加关于 softmax 层的反向传播说明
设 softmax 的输出为 a ，输入为 z ，损失函数为 l
则 $a_i=\frac{e^{z_i}}{\sum_j e^{z_j}}$
$\frac{\partial l}{\partial z}=\frac{\partial l}{\partial a}\frac{\partial a}{\partial z}$
其中
$\frac{\partial l}{\partial a}$ 在 caffe 中是 top_diff，a 为 caffe 中得 top_data，需要计算的是 $\frac{\partial a}{\partial z}$
$\frac{\partial a_i}{\partial z_k}=-a_i*a_k$ if i!=k
$\frac{\partial a_i}{\partial z_k}=a_k-a_k*a_k$ if i==k

【我的补充】

----------------------------------------------------------------

当 i!=k 时，

当 i==k 时，

----------------------------------------------------------------
于是
$\frac{\partial l}{\partial z_k}=\frac{\partial l}{\partial a}\frac{\partial a}{\partial z_k}=-(\frac{\partial l}{\partial a}\bullet a)a_k+\frac{\partial l}{\partial a_k}a_k$

【我的补充】

----------------------------------------------------------------

把负号提出去，改为点乘，即得到上式。注意，这里的 n 表示 channels，这里的 k 和 caffe 源码中的 k 含义不同。

----------------------------------------------------------------

整理一下得到
$\{-[(\frac{\partial l}{\partial a}\bullet a)]_n+\frac{\partial l}{\partial a_k}\}.\times a$
其中 $[(\frac{\partial l}{\partial a}\bullet a)]_n$ 表示将标量扩展为 n 维向量, $.\times$ 表示向量按元素相乘

【我的补充】

----------------------------------------------------------------

这边作者讲解得有误，因为对照代码可以发现，点乘后其实得到的是 1*inner_num 大小的向量，所以为了对应通道相减，需要将其扩展为 channels*inner_num 的矩阵，而不是 n 维向量。

最后矩阵再按元素进行相乘。

对照 caffe 源码


  // top_diff : l 对 a 向量求偏导
  // top_data ：a 向量
  // 将 top_diff 拷贝到 bottom_diff
  // dim = channels * inner_num_
  // inner_num_ = height * width
  caffe_copy(top[0]->count(), top_diff, bottom_diff);
  // 遍历一个 batch 中的样本
  for (int i = 0; i < outer_num_; ++i) {
    // compute dot(top_diff, top_data) and subtract them from the bottom diff
    // 此处计算两个向量的点积，注意 top_diff 已经拷贝到 bottom_diff 当中
    // 步长为 inner_num_（跨通道）构造一个长度为 channels （类别个数）的向量，进行点乘
    for (int k = 0; k < inner_num_; ++k) {
      scale_data[k] = caffe_cpu_strided_dot<Dtype>(channels,
          bottom_diff + i * dim + k, inner_num_,
          top_data + i * dim + k, inner_num_);
    }
    // subtraction
    // 此处计算大括号内的减法（即负号）
    // 将 scale_data 扩展为 channels 个通道（多少个类别），再和 bottom_diff 对应的通道相减
    caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans, channels, inner_num_, 1,
        -1., sum_multiplier_.cpu_data(), scale_data, 1., bottom_diff + i * dim);
  }
  // elementwise multiplication
  // 元素级的乘法
  // 此处计算大括号外和 a 向量的乘法
  caffe_mul(top[0]->count(), bottom_diff, top_data, bottom_diff)