第九周学习周报
一、本周学习情况
1、学习了吴恩达老师微专业课《深度学习工程师》
第一篇：神经网络和深度学习
第四周内容：深层神经网络
第二篇：改善深层神经网络：超参数调试、正则化以及优化
第一周内容：深度学习的实用层面
2、看了阿里云云栖社区的深度学习入门系列文章
第八章：详细解释了反向传播（BP）算法
第九章：主要回顾了卷积神经网络的发展史
第十章：简单介绍了卷积神经网络以及卷积在图像处理中的应用
第十一章：卷积神经网络的拓扑结构
第十二章：卷积神经网络的剩余部分：池化层、激活层和全连接层
第十三章：循环神经网络（RNN）
3、看了一篇论文
Advancing state-of-the-artimage recognition with deep learning on hashtags
二、学习笔记
BP算法其实并不仅仅是个反向算法，而是一个双向算法。
两大步走：（1）正向传播信号，输出分类信息；
（2）反向传播误差，调整网络权值。如果没有达到预期目的，重走回头路（1）和（2）。
BP算法不足，存在“梯度扩散（Gradient Diffusion）”现象。其根源在于对于非凸函数，梯度一旦消失，就没有指导意义，导致它可能限于局部最优。而且“梯度扩散”现象会随着网络层数增加而愈发严重。随着梯度的逐层消减，导致它对调整网络权值的调整效益，作用越来越小，故此BP算法多用于浅层网络结构（通常小于等于3），这限制了BP算法的数据表征能力，从而也就限制了BP的性能上限。
知道传统CNN（卷积神经网络）的主要特点是“局部连接”、“权值共享”和“局部平移不变性”，其中“权值共享”意味着“计算共享”，它节省了大量计算开销。而RNN则不同，它是随着“时间”深度的加深，通过对参数实施“平流移植”来实现“计算共享”的。
RNN网络的输出结果不仅和当前的输入相关，还和过往的输出相关。由于利用了历史信息，当任务涉及到与时序或与上下文相关时（如语音识别、自然语言处理等），RNN就要比其他人工神经网络（如CNN）的性能要好得多。RNN中的“深度”，不同于传统的深度神经网络，它主要是指时间和空间（如网络中的隐层个数）特性上的深度。
三、下周学习计划
1、继续学习吴恩达老师的微专业课程
2、将云栖社区的深度学习入门系列文章看完
3、继续看论文
4、到网上找一个小Demo，动手训练一个模型