【Ng 深度学习课程总结】01.神经网络和深度学习

week2. 神经网络基础

课程

• logistic regression
  • 用于二分类的监督问题；
  • sigmoid函数的引入；（梯度消失问题）
  • loss 是在单个样本上定义的，衡量了算法在单个样本上的表现，LR loss函数的详细解释；
  • cost 衡量参数在全体样本上的表现，是所有样本的loss和；
  • 学习的目的是找到最优参数使cost最小；
  • 梯度下降（前向传播，反向传播，更新参数）；
  • m个样本的梯度下降；
  • 向量化；

编程作业

• 利用Numpy实现一些基础函数，如sigmoid，image2vector，normalizeRows等；
• 向量化：实现 L1 和 L2 损失函数；
• 具有神经网络思维的Logistic regression；
  • 数据集预处理：
    • 获取数据维度和样本个数；
    • 样本的reshape；
    • 归一化数据；
  • 搭建模型的主要步骤：
    • 定义模型结构；
    • 初始化参数；
    • 循环：
      • 前向传播，计算cost；
      • 计算梯度；
      • 更新参数；
  • You often build 1-3 separately and integrate them into one function we call model().
  • 尝试了多种学习率，并画出各个cost function变化曲线；

week3. 浅层神经网络

课程

• 神经网络的表示，参数的维度设置；
• 前向传播的计算过程；
• 向量化；
• 激活函数的图像及比较；
• 反向传播过程；
• 参数的随机初始化；

编程作业

• 搭建模型的主要步骤：
  • 定义模型结构；
  • 初始化参数；
  • 循环：
    • 前向传播，计算cost；
    • 计算梯度；
    • 更新参数；

按照以上步骤搭建了只有一个隐藏层的浅层神经网络，实现数据的二分类。

• 根据分类结果画出分类边界。
• 尝试了隐藏层节点个数多种情况时的分类效果。

==========分割线。今天好大的风。好像也一直心不在焉的。anyway，又过去一天了。233333

week 4. 深层神经网络

课程

• 各层参数和导数的维度变化；
• 神经网络随着层数的加深，学习的特征从边缘到整体，能够学习更加复杂的问题；
• 前向传播和反向传播（有些地方有点搞不清楚应该按位乘还是点乘）
• 训练的过程就是要学习参数， 超参数影响输出；

编程作业

• 实现构建深度神经网络需要的基础函数
  • 前向传播；
  • 计算代价；
  • 反向传播；
  • 更新参数；
• 把函数整合到模型当中，经过迭代次数后，得到最后的参数。
• 利用参数预测，并输出准确率。
  ##############################晕。特别晕。##################