Deep Learning-------->DNN(Deep Neural Networks )
又可以称为 DL（Multi-Layer perceptron）
1、什么是深度学习
2、深度学习的步骤
Step 1：Neural Network
Step 2：goodness of function
Step 3：pick the best function
3、Why deeper is better ?
///////////////////////////////////////////////////////////////////
深度学习的基础内容上面已经完结了，下面的暂时没这部分内容，学了再补
4、如何优化（调参问题描述）
问题描述：参数更新的过程、training data 与参数更新的关系（训练过程）
5、Back Propagation方法update DNN参数
///////////////////////////////////////////////////////////////////
1、什么是深度学习
- 深度学习的model是一个深度神经网络结构（neural structure）
- 深度学习的“深度”是指神经网络的隐层（hidden layer）数量足够多
- 深度学习是自动提取特征（Feature extractor），不需要像逻辑回归那样特征转换（Feature engineering）
参考前文结尾引出部分
2、深度学习的步骤
和前面的学习一样，深度学习也是三个步骤
Step 1：定义一个神经网络结构（neural structure）
神经网络的创建包括三部分：1. 神经网络有多少个隐层（layer） 2. 每一层有多少个神经元（neuron） 3. 神经元之间如何连接
1）神经元：每个神经元都有包含以下因素：bias（b）、function，每个input还有一个weight。
2）举例：全连接
3）工作过程
假设已经定义好了神经网络之后（也就是function找到了），输入和输出都是一个 向量（vector）
如图所示，等式左边，黄色矩阵为 weight 矩阵，蓝色矩阵为 input vector，绿色矩阵为 bias 矩阵
等式右边，为这层神经元的 output，同时也是下一层神经元的输入。
如此第一层的神经元计算便完成了
以此类推，计算下面的神经元
举个栗子：手写识别
设 input 为16*16 = 1*256 维向量，output 仅有十种可能。因此我们需要设计神经元之间的连接方式。
Step 2：goodness of function 确定损失函数
和逻辑回归的方法一样，用交叉熵，最终的 L 为所有测试数据的交叉熵总和
Step 3：pick the best function 找到最有函数（参数）
方法：Gradient Descent
3、why deeper is better？
方法：Modularization（模组化）
举例说明：将人分为 长头发男、短头发男、长头发女、短头发女。
较少的长发男的样本，因此我发准确训练。但是如果只要求分类男女、长短发就都有了较多的例子。然后再进行进一步的分类，就解决了某一样本不足的问题。
结论：deep learning 实际上使用了 Modularization 的方法，可以用更少的 data 得到更可靠的结果。