神经网络与深度学习笔记（二）

第二章 反向传播算法如何工作

如何计算代价函数的梯度？——反向传播
反向传播的核心：一个代价函数C关于任何权重w（或者偏置b）的偏导数的表达式。

2.1 热身：神经网络中使用矩阵快速计算输出的方法

2.2 关于代价函数的两个假设

第一个假设

第二个假设：代价函数可以写成神经网络输出的函数

2.3 Hadamard 乘积

    Hadamard乘积表示两个矩阵按元素求乘积。
如：

2.4 反向传播四个基本方程