多层感知器的基本特征
在第 1 章中，我们学习了 Rosenblatt 感知器，它本质上是一个单层神经网络。该章证明了这一网络局限于线性可分模式的分类问题。然后，在第 3 章中，我们学习了自适应滤波，采用了 Widrow 和 Hoff 的 LMS 算法。这一算法也是基于权值可调的单个线性神经元，这也限制了这一算法的计算能力。为了克服感知器和 LMS 算法的实际局限，我们考虑所熟知的多层感知器这一神经网络结构。下面的三点揭示了多层感知器的基本特征：
1. 网络中每个神经元模型包含一个可微的非线性激活函数。
2. 网络中包括一个或多个隐藏在输人和输出神经节点之间的层。
3. 网络展示出高度的连接性，其强度是由网络的突触权值决定的。
然而，同样这些特性也导致了现阶段关于网络行为知识的缺乏。首先，由于非线性分布式的存在和网络的高度连接性使得多层感知器的理论分析难于进行。第二，隐藏层的使用使得学习过程变得更难。这暗示着学习过程必须决定输入模式的哪些特征应该由隐藏层神经元表示出来。学习过程因此变得更困难了，因为不得不在大得多的可能函数空间中搜索，同时必须在输入模式的不同表示中进行选择。
References
(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572