常见激活函数优缺点与dead relu problem
https://zhuanlan.zhihu.com/p/71882757
https://mp.weixin.qq.com/s/hoOBTDBmE666-NcMDOzdoQ
1.什么是激活函数？
所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。
第一个链接中内容写得非常好。