深度学习（神经网络）

参考课程：YUN-NUNG (VIVIAN) CHEN的深度学习课程

参考书籍：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

1.网络训练（神经网络前馈运算+反馈运算）

前馈运算：后一层的输入(z)=前一层的输出(a)与对应权值(w-两层间的连接线上)加权求和。

反馈运算(backpropagation)：后一次迭代的权值w/偏置b=前一次迭代的权值w/偏置b-学习率×误差对前一次迭代权值w/偏置b的偏导数

①YUN-NUNG (VIVIAN) CHEN版

参数:

算法:

②Xiu-Shen WEI版

损失函数(目标函数):

(回归问题)，(分类问题)

链式参数更新法则:

2.卷积操作

计算方式：图片对应位置与卷积核对应位置加权求和。（滑动的卷积核）

卷积核理解：其实在网络训练过程中，训练的就是卷积核对应位置的值，也就是1中前馈运算中的权重w

3.实质问题

网络训练其实就是不断更新权值w以及偏置b，权值就是卷积核中不同位置的参数值

附一篇知乎:https://zhuanlan.zhihu.com/p/27897220(通俗的讲解了图片在深度学习网络中各个实现步骤)

4.正则化

即“规则化”，防止过拟合，如：dropout层，用于丢弃一些拟合过于理想的情况。

深度学习中常用正则化操作：

①参数添加约束，如Weight Decay

②训练集合扩充，如图片旋转，缩放

③dropout，去掉部分w连接，形成子网络。如

5.AlexNet结构详述

参考网站：https://blog.csdn.net/xiequnyi/article/details/52232855

6.反卷积

就是用转置的卷积核卷积图片。