神经网络之正向传递与反向传播
1.单个神经元
神经网络是由一系列神经元组成的模型，每一个神经元实际上做得事情就是实现非线性变换。
如下图就是一个神经元的结构：
神经元将两个部分：上一层的输出 ( x 1 , x 2 . . . , x n ) (x_1,x_2...,x_n) (x1,x2...,xn)与权重 ( w 1 , w 2 . . . , w n ) (w_1,w_2...,w_n) (w1,w2...,wn)对应相乘相加，然后再加上一个偏置 b b b之后的值经过激活函数处理后完成非线性变换。
记 z = w ⋅ x + b z=w\cdot x+b z=w⋅x+b， a = σ ( z ) a=\sigma(z) a=σ(z)，则 z z z 是神经元非线性变换之前的结果，这部分仅仅是一个简单的线性函数。 σ \sigma σ是Sigmod激活函数，该函数可以将无穷区间内的数映射到(-1.1)范围内。 a a a 是神经元将 z z z 进行非线性变换之后的结果。
Sigmod函数图像如下图：
s i g m o d ( x ) = 1 1 + e − x sigmod(x)=\frac{1}{1+e^{-x}} sigmod(x)=1+e−x1
因此，结果a就等于：
a = 1 1 + e w 1 x 1 + w 2 x 2 + . . . + w n x n + b a=\frac{1}{1+e^{w_1x_1+w_2x_2+...+w_nx_n+b}} a=1+ew1x1+w2x2+...+wnxn+b1
这里在强调一遍，神经元的本质就是做非线性变换。
2.由神经元组成的神经网络
神经元可以理解成一个函数，神经网络就是由很多个神经元组成的模型，因此神经网络可以理解成是一个非常复杂的复合函数。
