之前看了一些吴恩达的视频和大话机器学习的一部分东西。选择记录的这本书页数比较少，但是可以作为一个不错的总结记录。
权重，w1, w2, . . .，表⽰相应输⼊对于输出重要性的实数。神经元的输出，0 或者 1，则由分配权重后的总和 ∑j wjxj ⼩于或者⼤于⼀些阈值决定。和权重⼀样，阈值是⼀个实数，⼀个神经元的参数。
b 偏置
sigmoid S型神经元
输入层，输出层，隐藏层
是以上⼀层的输出作为下⼀层的输⼊。这种⽹络被称为前馈神经⽹络。这意味着⽹络中是没有回路的——信息总是向前传播，从不反向回馈。
代价函数
学习效率
梯度下降法
有种叫做随机梯度下降的算法能够加速学习。其思想就是通过随机选取⼩量训练输⼊样本来计算 ∇Cx，进⽽估算梯度 ∇C。通过计算少量样本的平均值我们可以快速得到⼀个对于实际梯度 ∇C 的很好的估算，这有助于加速梯度下降，进⽽加速学习过程。
反向传播的算法，⼀种快速计算代价函数的梯度的⽅法
为了获得这些准确性，我不得不对训练的迭代期数量，⼩批量数据⼤⼩和学习速率 η做特别的选择。正如我上⾯所提到的，这些在我们的神经⽹络中被称为超参数，以区别于通过我们的学习算法所学到的参数（权重和偏置）。