神经元:一个神经元就是一个线性分类器
梯度:函数(曲线)的倾斜度或斜率,偏导.
梯度消失:
激活函数:用来加入非线性因素的(单方面理解:引入曲线函数)，因为线性模型的表达能力不够,使用激活函数(分线性因素)解决线性模型所不能解决的问题。
线性函数:直线函数.(在线性代数里，线性函数是一个线性映射,即线性变换。)
阈值函数:（threshold function），也就是大于某个值输出1（被激活了），小于等于则输出0（没有激活）。这个函数是非线性函数。
Sigmoid函数:
是一个在生物学中常见的S型的函数，也称为S型生长曲线。[1] 在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。
公式:
双切正切函数(tanh)
取值范围[-1,1].tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。
公式:
线性整流函数(ReLU)
大于0的留下，否则一律为0。ReLU又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。
通常意义下，线性整流函数代指代数学中的
斜坡函数，即
而在神经网络中，线性整流函数作为神经元的激活函数，定义了该神经元在线性变换
之后的的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量
，使用线性整流激活函数的神经元会输出
函数曲线:
损失函数:
作用:将一个神经元转化成线性分类器。
分类器:
Binary Softmax classifier(二值柔性最大值分类器)
算法:
感知机算法: