模仿神经元的信息传递，理想化抽象出神经元相互传递的实质。
线性神经元
对于简单的线性神经元，输出Y 是这个神经元的偏置 (bias) b 以及所有的输入连接与其对应的突触权值的乘积的函数。
阈值神经元
对于一个阈值型神经元， 你可以把它的输出看做取决于有的输入连接加权和是否高于阈值的函数。 如果是的话，则输出为1； 否则输出为0 。实际上有如下两种等价的方式来给出阈值型神经元的激活方程。
输出函数图像：
S型神经元
这种神经元的输出是它总输入的一个平滑而有界的函数，具有光滑的导函数。
随机性阈值型神经元
这种神经元与Sigmoid神经元相似，它首先按同样的方法计算出总输入， 然后用逻辑函数计算出一个实数。不同之处就在于，这个实数将作为输出信号的概率，它并不是直接输出这个概率，而是基于这个概率做一个选择 。它的输出实际上要么是1 要么是0 。从本质上来说，这个输出的随机的，所以叫随机性阈值型神经元。
神经网络是如何识别数字的
这里使用两层神经元，输入是每个像素的强度，输出表示类别。当我们输入特定形状时，该形状的输出单元会被激活。
如果一个像素是活跃的，它要做的是给特定的形状投票。每个像素可以给多个形状投票。 每个投票可以有不同的强度，得到最多票的形状获胜。
如何显示输入和输出之间的权重？
对于每一个输出单元做映射，即每个位置上的输入像素和输出的连接强度使用黑色和白色的斑点来表示。斑点的区域代表幅值。
如何训练模型？
通过输入数据对模型训练，这个简单的神经网络学习得到的是每个形状的迷你模板。在做识别时，只是通过哪一个模板与输入的形状重叠多少判断哪个输出对应输入。然而这种做法并不是很成功。
机器学习的三种类别
监督学习
试图依据给定的输入向量来预测输出结果。
两类问题：回归问题和分类问题
回归问题中，目标输出是一个实数或者一个实数向量
比如六个月以后的股价或者明天中午的气温。总之回归问题的目标是让输出尽可能地接近正确的实数或实数向量
分类问题中，目标输出是一个分类标签
最简单的例子就是在零和一之间二选一
强化学习
选择一系列行为或行为序列来使得获得奖励最大化，而这个奖励可能不定时产生的。
无监督学习
在无监督学习中，你试图找到对于输入数据的内在表达。