1 sigmoid激活：
激活函数(activation function)的作用：activation函数是在神经网络中的专有名词，和hypothesis函数一样，在论文中，如果出现了activation，就代表作者在说激活函数的事情。
那什么是激活函数呢？
我们知道在多层的神经网络中，上一层的信号（也就是wx+b算出的结果）要作为下一层的输入，但是这个上一层的信号在输入到下一层之前需要一次激活f = sigmoid(wx+b)，因为并不是所有的上一层信号都可以激活下一层，如果所有的上一层信号都可以激活下一层，那么这一层相当于什么都没有做。因此我需要选择一些信号激活下一层的神经元。如何表示激活呢？就是当activation function的输出结果是0，就代表抑制，是1，就代表激活。因为按照下一层的神经元的计算wx+b来看，如果x接近于0，那么就会阻止x对应的权重起作用，如果接近1，这个权重的作用会最大，在这个就是激活的含义。
如下图：
我们知道常见的激活函数有sigmoid 和 relu（以及relu的各种变形），relu我们下节再讨论。
sigmoid的函数形状：
函数表达式：
函数的性质：（很重要）导数可以用自身的形式来表达。
2 sigmoid激活的优点：
sigmod函数的优点：1，可以很容易的抑制误差，尤其是相差比较大的误差。
举一个例子，如下图：
在x=5的点和x=10的点原本相差很远（10-5=5）的点，在激活之后，也就是x=5和x=10对应的y坐标的值，相差的不大。比如说有一个噪声误差，在x=1000处，其他的点都分布在x=5到x=10之间，那么sigmoid的函数就可以很好的去掉这种误差带来的影响。
下一节讲解sigmoid的弊端以及如何sigmoid的激活函数和cost function的联系