激活函数作用是什么？给w+b一个约束。要么是排除负值（relu），要么是缩放到一个范围（tanh等），或者更加极端（1，0）。
下面是一个训练好（flowers acc 74.6%）的vgg16中某一层的w中的一个feature值。可以看到其中正负都有。不能排除其中负的部分对模型的准确率没有影响。假设，如果他有作用，那么可能是在纠正太“正”（过拟合）的作用。才会有relu的变形，prelu。
上图为w
上图为b
我认为负值也很重要，选择激活函数，应该想到。 我这么理解的，可能不对。希望讨论。
或者说可以放任某一层，不用激活函数.
-----------
后记，
剪枝有个方法是正保留0.75，负保留0.25。可见负值对模型是有用的