激活函数 sigmoid、tanh

版权声明：本文为博主CSDN Rosefun96原创文章。 https://blog.csdn.net/rosefun96/article/details/91410986

1.示意图

import matplotlib.pyplot as plt
import numpy as np
exp = np.exp 

def sigmoid(x):
    return exp(x)/(1 + exp(x))

def tanh(x):
    return (exp(x) - exp(-x))/(exp(x) + exp(-x))
plt.plot()
#x = np.random.randint(-50, 50, 1000)
x = np.linspace(-10, 10, 1000)
sigmoid_x = sigmoid(x)
plt.plot(x, sigmoid_x)
plt.title("sigmoid")
plt.show()

plt.plot()
tanh_x = tanh(x)
plt.plot(x, tanh_x)
plt.title("tanh")
plt.show()

区别：
tanh 具有负值，对于一些不想出现负值的情况，多使用 sigmoid；tanh两端几乎没有梯度，比sigmoid的梯度还小。