转载自3Blue1Brown：https://www.bilibili.com/video/av15532370
一、sigmoid函数
Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。
在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。
二、ReLU
线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。
比较常用的线性整流函数有斜坡函数 f(x) = max(0, x)，以及带泄露整流函数 (Leaky ReLU)，其中为x神经元(Neuron)的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激活函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。
三、神经网络原理
