【让AI飞】常用函数的有用性质

某些函数在处理概率分布时会经常出现，尤其是深度学习的模型中用到的概率分布。

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma (x) = \frac 1 {1 + e^{-x}}$ `

sigmoid

从 sigmoid 函数图像中可以看出，定义域 $R$ , 而值域范围 $(0,1)$ ，单调递增。因而这个函数通常用来产生 Bernoulli 分布中的参数 $\phi$ .

当 $x$ 取非常大的正值或者负值的时候，就会出现饱和(saturate)现象，函数会变得很平，并且对输入的微小改变变得不敏感。

ζ (x) = \log (1 + e^{x})

$\zeta (x) = \log (1+e^x)$

之所以叫 softplus, 是因为这个函数 soft(软化/平滑)了 positive part function

x^{+} = m a x (0, x)

$x^+ = max(0, x)$ . 但千万注意不要把 softplus 和 softmax 名称搞混。

从 softplus 的函数图像可以看出，定义域是 $R$ , 值域是 $(0, + \infty)$ , 因而 softplus 函数可以用来产生正态分布的 $\beta$ 和 $\sigma$ 参数。

σ (x) = \frac{1}{1 + e^{- 1}} = \frac{e^{x}}{e^{x} + 1} (1.1)

$\sigma (x) = \frac 1 {1 + e^{-1}} = \frac{e^x}{e^x + 1} \qquad \qquad (1.1)$

1 - σ (x) = σ (- x) (1.2)

$1 - \sigma (x) = \sigma (-x) \qquad \qquad (1.2)$

\frac{d}{d x} σ (x) = σ (x) (1 - σ (x)) = σ (x) σ (- x) (1.3)

$\frac d {dx} \sigma(x) = \sigma (x)(1 - \sigma (x)) = \sigma (x) \sigma (-x) \qquad \qquad (1.3)$

\frac{d}{d x} ζ (x) = σ (x) (1.4)

$\frac d {dx} \zeta (x) = \sigma (x) \qquad \qquad (1.4)$

\log σ (x) = - ζ (- x) (1.5)

$\log \sigma (x) = -\zeta (-x) \qquad \qquad (1.5)$

\forall x \in (0, 1), σ^{- 1} (x) = \log \frac{x}{1 - x} (1.6)

$\forall x \in (0,1), \sigma ^{-1}(x) = \log \frac{x}{1-x} \qquad \qquad (1.6)$

\forall x > 0, ζ^{- 1} (x) = \log (e^{x} - 1) (1.7)

$\forall x \gt 0, \zeta ^{-1} (x) = \log {(e^x -1)} \qquad \qquad (1.7)$

ζ (x) = \int_{- \infty}^{x} σ (y) d y (1.8)

$\zeta (x) = \int_{- \infty }^x \sigma(y)dy \qquad \qquad (1.8)$

ζ (x) - ζ (- x) = x (1.9)

$\zeta (x) - \zeta (-x) = x \qquad \qquad (1.9)$