深度学习--关于神经网络深度

理论上，仅从模型的表达能力来说，2层的神经网络已经非常强大，但这样的表达能力需要靠大量的神经元（模型参数）来提供，而参数增多会增加模型的计算量和学习难度。而通过增加模型深度，可以在参数数量较少的情况下获得强大的模型表达能力。

关于网络深度的一些理论研究可以参考：On the Number of Linear Regions of Deep Neural Networks，On the Expressive Power of Deep Architectures