【深度学习基础-09】神经网络-机器学习深度学习中~Sigmoid函数详解

目录

Sigmoid函数常常被用作神经网络中激活函数  

双曲函数tanh(x)

Logistic函数 

拓展对比

---

Sigmoid函数常常被用作神经网络中激活函数  

函数的基本性质：

1. 定义域：(−∞,+∞)(−∞,+∞)
2. 值域：(−1,1)(−1,1)
3. 函数在定义域内为连续和光滑函数
4. 处处可导，导数为：f′(x)=f(x)(1−f(x))

比较常用的有双曲函数tanh(x)，以及逻辑函数

双曲函数tanh(x)

tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。

函数：y=tanh x；定义域：R，值域：(-1,1)。y=tanh x是一个奇函数，其函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y=1和y=-1之间。

双曲正切函数的导数公式：

如同点 (cost,sint) 定义一个圆，点 (cosh t,sinh t) 定义了右半直角双曲线x^2- y^2= 1。这基于了很容易验证的恒等式

参数 t 不是圆角而是双曲角，它表示在 x 轴和连接原点和双曲线上的点 (cosh t,sinh t) 的直线之间的面积的两倍。

函数 cosh x 是关于 y 轴对称的偶函数。函数 sinh x 是奇函数，就是说 -sinh x = sinh (-x) 且 sinh 0 = 0

 

Logistic函数 

 

拓展对比