1 激励函数定义

神经网络中的每个节点接受输入值，并将输入值传递给下一层，输入节点会将输入属性值直接传递给下一层（隐层或输出层）。在神经网络中，隐层和输出层节点的输入和输出之间具有函数关系，这个函数称为激励函数，部分文献也把它叫做激活函数。常见的激励函数有：线性激励函数、阈值或阶跃激励函数、S形激励函数、双曲正切激励函数和高斯激励函数等[1]。

2 常见激励函数

2.1 Threshold函数

2.1.1 数学定义

$y =Threshold(x)= \begin{cases} x, &\text{ if } x > \text{threshold} \\ \text{value}, &\text{ otherwise } \end{cases}$

2.1.2 常见性质

2.1.3 Pytorch实现

import 包

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt
%matplotlib inline

生成数据

x = torch.linspace(-10, 10, 300)  # x data (tensor), shape=(200, 1)
x = Variable(x)
x_np = x.data.numpy()   # numpy array for plotting

pytorch中的threshold函数

actifunc = torch.nn.Threshold(threshold = 0.1,value = 0)
y_threshold = actifunc(x).data.numpy()
plt.plot(x_np, y_threshold, c='red', label='threshold')
plt.legend(loc='best')

pytorch实现threshold

2.2 Tanh函数

2.2.1 数学定义

$y=\text{Tanh}(x) = \tanh(x) = \frac{\exp(x) - \exp(-x)}{\exp(x) + \exp(-x)}$

2.2.2 常见性质

2.2.3 Pytorch实现

pytorch中的tanh函数

actifunc = torch.nn.Tanh()
y_tanh = actifunc(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.legend(loc='best')

pytorch实现tanh

2.3 Sigmoid函数

2.3.1 数学定义

$y=\text{Sigmoid}(x) = \frac{1}{1 + \exp(-x)}$

2.3.2 常见性质

2.3.3 Pytorch实现

pytorch中的sigmoid函数

actifunc = torch.nn.Sigmoid()
y_sigmoid = actifunc(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.legend(loc='best')

pytorch实现sigmoid

2.4 ReLU函数

2.4.1 数学定义

$y =ReLU(x)= \begin{cases} x, &\text{ if } x > \text{0} \\ \text{0}, &\text{ otherwise } \end{cases}$

2.4.2 常见性质

2.4.3 Pytorch实现

actifunc = torch.nn.ReLU()
y_relu = actifunc(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='ReLU')
plt.legend(loc='best')

pytorch实现ReLU

2.5 Softsign函数

未完待续

2.6 ELU函数