【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——激活函数的导数（Derivatives of activation functions）

3.8 激活函数的导数（Derivatives of activation functions）

在神经网络中使用反向传播的时候，你真的需要计算激活函数的斜率或者导数。针对以下四种激活，求其导数如下：
1）sigmoid activation function

图3.8.1
其具体的求导如下：

2) Tanh activation function

图3.8.2
其具体的求导如下：

3）Rectified Linear Unit (ReLU)

4）Leaky linear unit (Leaky ReLU)
与ReLU类似

注：通常在z=0的时候给定其导数1,0.01；当然z=0的情况很少