「Deep Learning」Note on Swish

Sina Weibo：小锋子Shawn
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/80208944

这篇博客介绍比较新的激活函数——Swish，是ICLR2018 Workshop的文章。
文章的结论就是“在任意神经网络，可以使用Swish单元替换ReLU单元。”

Swish的定义和导数

定义：

$$Swish = f(x) = x \times sigmoid(\beta x) = \frac{x}{1+e^{-\beta x}}$$
导数： $$f'(x) = \frac{1 \times (1+e^{- \beta x}) - x \times (1+e^{- \beta x})'}{(1+e^{- \beta x})^2}=\frac{1+e^{- \beta x} - x(e^{- \beta x})(- \beta)}{(1+e^{- \beta x})^2}= \frac{1}{1+e^{- \beta x}}+\frac{\beta x(e^{- \beta x}+1)-\beta x}{(1+e^{- \beta x})^2}= \frac{1}{1+e^{- \beta x}}+\frac{\beta x}{1+e^{- \beta x}}-\frac{\beta x}{(1+e^{- \beta x})^2}$$ $$=sigmoid(\beta x)+\beta x sigmoid(\beta x)-\beta x (sigmoid(\beta x))^2$$ $$=sigmoid(\beta x)(1-\beta x sigmoid(\beta x))+\beta Swish$$ $$=sigmoid(\beta x)(1-\beta Swish)+\beta Swish$$
如果熟悉sigmoid的求导，就可以快速求得。