深度学习——笔记(2)

走向深度学习:

作者想用将复杂问题简单化的思路,将神经网络的工作方法简单叙述一遍。接着引出了经典算法,反向传播算法。

反向传播算法

首先,纯英文(不翻译)...作者开始只是进行了符号的说明:

顺便也和上节课代码联系了一下,符号说明很容易理解。

损失函数的两个假设

第一个假设:

原文的排版让人不忍直视:(https://blog.csdn.net/csj941227/article/details/77150000,此为一名大佬的笔记....对比下来自己的真的是无语伦比的糟糕,所以此处建议跳转,膜拜大佬)

(其中代价函数的方程我一直疑惑,然后:https://blog.csdn.net/quiet_girl/article/details/68544273,懂了)

看懂了笔记,但是对于原文的假设,还是不太清楚。

第二个假设:

自我感觉,就是求解偏微分的需要,不是函数怎么行(不严谨)。

Hadamard成绩

其实就是点乘

反向传播背后的四个基本方程

反向传播其实是对权值和偏置变化   影响代价函数过程的理解。最终含义就是计算偏导。

(我是综合着书呵上面大佬博客看的,说实话,推导证明什么的不难,难得是想清楚这个过程在干什么。整个过程大致框架在干什么我看得懂,但是很多东西细想一下发现自己想不通,所以只能先暂时这样)

猜你喜欢

转载自blog.csdn.net/qq_40240102/article/details/83210801