sigmoid neurons（激活函数）

在perception中，如果只是随意改变一个权重，使结果朝着自己想要的方向发展（如数字识别将“8”误认为“9”，对此进行修改），可能会引起其他识别结果的剧烈变化，如原来识别正确的都变错了。

因此，引入sigmoid neuron的概念
介绍：

和介绍perception 一样，sigmoid 具有输入x1,x2,x3 只是输入不是局限于0和1，可以是0和1之间的任何数。sigmoid有权重w1,w2和偏置b，输出不再是0和1，而是


当z接近正无穷大，输出约为1；当z接近负无穷大，输出约为0。只有当z取中间值时，输出才有所不同。

函数图形：

这是对阶跃函数的平滑

sigmoid的平滑意味着权重和偏置的较小变化( $\Delta wj$ 和 $\Delta b$ )会使得输出变化（ $\Delta output$ ）较小。
关于 $\Delta output$，有以下偏导的关系

其实这个公式想说的比较简单，即 $\Delta output$是 $\Delta wj$ 和 $\Delta b$的线性函数。这种线性使得权重和偏置做出很小的变化就能实现输出需要的任何改变。

神经网络结构（输入，隐藏，输出）：

正向传播：数据传入到神经网络，经过各个隐藏层得到最终损失的过程；