激活函数主要是神经网络中用到,它的公式为:
下面用matlab来绘制一下
clc
clear all
x = linspace(-10.0,10.0); % 设置x范围为-10到10
sigmoid = 1./(1.0+exp(-1.0*x)); % 激活函数公式
plot(x,sigmoid,'r') % 绘制颜色为红色
legend('sigmoid');
figure
relu = max(x,0);
plot(x,relu,'r');
legend('relu');
结果如下: