激活函数在深度学习中起着至关重要的作用，它们为神经网络引入非线性因素，使得网络能够学习复杂的模式和关系
1. 非线性
- 激活函数必须是非线性的，否则神经网络将无法学习复杂的非线性关系。非线性函数可以将输入映射到非线性空间，使得网络能够处理非线性问题。
2. 可微性
- 激活函数应该是可微的，因为神经网络的训练过程依赖于梯度下降法。可微的激活函数可以计算梯度，从而使得网络可以通过反向传播算法进行训练。
3. 零中心化
- 零中心化是指激活函数的输出均值为零。零中心化的输出可以避免后续层的输入发生偏置偏移，从而提高梯度下降的效率。例如，Tanh 函数的输出范围为 ( -1, 1)，是零中心化的。
4. 单调性
- 一些激活函数（如 ReLU）是单调的，即函数的导数在定义域内始终为正或始终为负。单调的激活函数可以保证梯度的符号在反向传播过程中保持一致，从而避免梯度更新的不稳定性。
5. 有界性
- 一些激活函数（如 Sigmoid 和 Tanh）的输出是有界的，即输出值在一定的范围内。有界的输出可以避免梯度爆炸问题，但可能会导致梯度消失问题。
6. 稀疏性
- 一些激活函数（如 ReLU）可以引入稀疏性，即只有部分神经元被激活，而其他神经元的输出为零。稀疏性可以提高模型的效率，并且有助于减少过拟合。
7. 计算复杂度
- 激活函数的计算复杂度会影响网络的训练和推理速度。一些激活函数（如 Sigmoid 和 Tanh）涉及指数运算，计算复杂度较高；而 ReLU 等函数的计算则相对简单。
8. 梯度消失和梯度爆炸
- 一些激活函数（如 Sigmoid 和 Tanh）在输入的绝对值较大时，梯度会接近于零，导致梯度消失问题。而一些激活函数（如 ReLU）在输入为正时梯度恒为 1，不存在梯度消失问题，但可能会导致梯度爆炸问题。
总结
不同的激活函数具有不同的性质，选择合适的激活函数可以显著提高神经网络的性能。在实际应用中，可以根据具体任务和数据的特点选择合适的激活函数。例如，ReLU 及其变体（如 Leaky ReLU、PReLU）因其计算简单和缓解梯度消失问题而被广泛使用，而 Sigmoid 和 Tanh 则更多用于特定的输出层或需要概率输出的场景。一些新型激活函数（如 Swish、Mish）在某些任务中也表现出良好的性能。