一、深度学习常见的一些挑战
1、如何决定深层神经网络的架构（网络层数和神经元数目）
2、如何解决模型复杂度过高问题
3、如何实现深层神经网络的最优化问题
4、如何结果巨大计算量的问题
二、逐层预训练（pre-training）
启发式思路：一个深层网络如果需要成功学习好，那么initial时的weight应当在一个比较好的位置（在使用backpro时有助于寻找到最优点）；可以通过逐层训练的方式确定一个较好的initial的weight。
1、先训练输入层和第一个隐藏之间的weight1，然后固定该层的weight1不变；接着训练第一个隐层和第二个隐藏之间的权重weight2，然后固定该层的weight2；按此方式依次计算当前隐层和后一层的权重，直至最后一层。（下图中黑色部分为预训练好的该层的weight，蓝色部分为此次需要训练的该层的weight。）
2、做完pre-training后，再将整个网络进行训练，得到最终每个隐层的weight。
3、pre-training和regularization技术在deep learning中应当被focus
