激活函数的作用主要是引入非线性因素，解决线性模型表达能力不足的缺陷
sigmoid函数可以从图像中看出，当x向两端走的时候，y值越来越接近1和-1，这种现象称为饱和，饱和意味着当x=100和x=1000的映射结果是一样的，这种转化相当于将1000大于100的信息丢失了很多，所以一般需要归一化数据。
softplus函数相比于relu函数更加平滑，会保存部分小于零的函数，但是计算量也更大了。
relu函数在信号响应上有很多优势，但是仅仅在正向传播中，由于其对负值全部舍去很容易使模型输出全零而无法训练。例如：随机初始化的w中存在负值，其对应的正值输入特征也就被全部屏蔽了，同理对应的负值输入反而被激活了。因此，一些relu变种被开发。