【Interview】activate function

Reference

https://yogayu.github.io/DeepLearningCourse/03/ActivateFunction.html
Deep Learning v1 笔记
https://mp.weixin.qq.com/s/7DgiXCNBS5vb07WIKTFYRQ
可视化神经网络中的激活函数——26 个激活函数的图示及其一阶导数

Recall that we use a step function in perceptron to transform output i.e. whether or not the neuron should be activated.

We call this kind of function which take all the inputs to transform an output as activate function.

一句话：“那么该用那种呢？”

用ReLU非线性函数
注意设置好学习率，如果单元死亡问题困扰你，就试试Leaky ReLU或者Maxout
不要再用sigmoid了
也可以试试tanh，效果不如 ReLU或者Maxout

ReLU

$h (x) = m a x (x, 0)$

only remain positive elements
setting all negative elements nodes to 0

ReLU优点

对梯度下降收敛有加速作用
相较于sigmoid和tanh函数，ReLU对于随机梯度下降的收敛有巨大的加速作用
运算简单
sigmoid和tanh神经元含有指数运算等耗费计算资源的操作，而ReLU可以简单地通过对一个矩阵进行阈值计算得到

缺点

在训练的时候，ReLU单元比较脆弱并且可能“死掉”
- 当输入为负值的时候，ReLU 的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新
- 当一个很大的梯度流过ReLU的神经元的时候，可能会导致梯度更新到一种特别的状态，在这种状态下神经元将无法被其他任何数据点再次激活。如果这种情况发生，那么从此所有流过这个神经元的梯度将都变成0。也就是说，这个ReLU单元在训练中将不可逆转的死亡，因为这导致了数据多样化的丢失。例如，如果学习率设置得太高，可能会发现网络中40%的神经元都会死掉（在整个训练集中这些神经元都不会被激活）。通过合理设置学习率，这种情况的发生概率会降低。

Sigmoid

$\frac{\mathrm{1} }{\mathrm{1} + e^{-x} }$

Sigmoid 因其在 logistic 回归中的重要地位而被人熟知，值域在 0 到 1 之间。Logistic Sigmoid（或者按通常的叫法，Sigmoid）激活函数给神经网络引进了概率的概念。它的导数是非零的，并且很容易计算（是其初始输出的函数）。然而，在分类任务中，sigmoid 正逐渐被 Tanh 函数取代作为标准的激活函数，因为后者为奇函数（关于原点对称）。

sigmoid函数缺点