1 双层感知器模型的发展
Minsky说过单层神经网络无法解决异或问题。但是当增加一个计算层以后，两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分类效果。不过两层神经网络的计算是一个问题，没有一个较好的解法。
1986年，Rumelhar和Hinton等人提出了反向传播（Backpropagation，BP）算法，解决了两层神经网络所需要的复杂计算量问题，从而带动了业界使用两层神经网络研究的热潮。目前，大量的教授神经网络的教材，都是重点介绍两层（带一个隐藏层）神经网络的内容。
2 对双层感知器模型的理解
为什么多层感知器模型优于单层感知器模型，并且很好了解决了异或问题？引用块内容
两层神经网络可以无限逼近任意连续函数。
图中红色的线与蓝色的线代表数据。而红色区域和蓝色区域代表由神经网络划开的区域，两者的分界线就是决策分界。
可以看到，这个两层神经网络的决策分界是非常平滑的曲线，而且分类的很好。有趣的是，前面已经学到过，单层网络只能做线性分类任务。而两层神经网络中的后一层也是线性分类层，应该只能做线性分类任务。为什么两个线性分类任务结合就可以做非线性分类任务？我们来看看它是如何做到的
输出层的决策分界仍然是直线。关键就是，从输入层到隐藏层时，数据发生了空间变换。即：两层神经网络中- （1）隐藏层对原始的数据进行了一个空间变换，使其可以被线性分类
（2）输出层的决策分界划出了一个线性分类分界线，对其进行分类。
两层神经网络可以做非线性分类的关键–隐藏层：矩阵和向量相乘，本质上就是对向量的坐标空间进行一个变换。因此，隐藏层的参数矩阵的作用就是使得数据的原始坐标空间从线性不可分，转换成了线性可分。
3 深度学习：多层神经网络的再起航
增加更多的层次有什么好处？更深入的表示特征，以及更强的函数模拟能力。神经网络有了更强的学习能力。
更深入的表示特征可以这样理解，随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示。例如第一个隐藏层学习到的是“边缘”的特征，第二个隐藏层学习到的是由“边缘”组成的“形状”的特征，第三个隐藏层学习到的是由“形状”组成的“图案”的特征，最后的隐藏层学习到的是由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。
4 回顾
