Datawhale202211李宏毅《机器学习》（深度学习方向）P13-P14
深度学习入门介绍+反向传播手推
文章目录
前言
随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的大热门深度学习的相关内容，主要介绍反向传播这一知识点。
一、DL的发展趋势
- 1958：Perceptron
感知器本质上是一种线性模型，可以对输入的训练集数据进行二分类，且能够在训练集中自动更新权值。感知器的提出吸引了大量科学家对人工神经网络研究的兴趣，对神经网络的发展具有里程碑式的意义。
- 1986：BP算法
BP算法在传统神经网络正向传播的基础上，增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值，直到输出的误差达到减小到允许的范围之内，或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题，让人工神经网络再次的引起了人们广泛的关注。
- 2012:Alexnet夺冠
AlexNet采用ReLU激活函数，从根本上解决了梯度消失问题，并采用GPU极大的提高了模型的运算速度。
- 2022-未来
- 规模仍然是重要因素
- 无监督学习继续交付
- 多模态杀疯了
-基本问题仍然存在
二、DL的三个步骤
神经网络
- 基本形式：全连接与前馈
输入层：1层
隐藏层：N层
输出层：1层
全连接：层之间两两互联，所有叫做Fully Connect;
前馈：描述计算方向，由前向后计算，所有叫做Feedforward;
- 细节理解
1.深度：Many hidden layers——提取特征
2.矩阵运算：提升计算效率。
模型评估
- 采用交叉熵（cross entropy）函数来对y和y^
的损失进行计算，通过调整参数，让价差熵越小越好。
- 计算全局损失需要把所有训练数据的损失相加得到L，接下来就是在function set里面找到一组函数能最小化这个总体损失L，或者是找一组神经网络的参数θ，来最小化总体损失L
选择最优函数
- 用梯度下降的方法选择最优函数，详细内容参见上期博客。
三、反向传播
基本概念
- 损失函数(Loss function)是定义在单个训练样本上的，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的，用L表示。
- 代价函数(Cost function)是定义在整个训练集上面的，也就是所有样本的误差的总和的平均，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果。
- 总体损失函数(Total loss function)是定义在整个训练集上面的，也就是所有样本的误差的总和。也就是平时我们反向传播需要最小化的值。
涉及知识点
- 梯度下降
- 链式法则
- 前向传播
手推算法
以下手推BP算法可以对其作用有更好的认识：
用来更新参数，让其更加接近真实值。
（所演示的是最基础的模型，更复杂的结构可以添加激活函数、调整学习率等，让模型性能更好）
温馨提示：
大家要多尝试手推，推一次就可以很好地理解很多概念，效率upup!!!
四、参考文档
来自Datawhale的投喂
李宏毅《机器学习》开源内容1：
https://linklearner.com/datawhale-homepage/#/learn/detail/93
李宏毅《机器学习》开源内容2：
https://github.com/datawhalechina/leeml-notes
李宏毅《机器学习》开源内容3：
https://gitee.com/datawhalechina/leeml-notes
来自官方的投喂
李宏毅《机器学习》官方地址
http://speech.ee.ntu.edu.tw/~tlkagk/courses.html
李沐《动手学深度学习》官方地址
https://zh-v2.d2l.ai/
来自广大网友的投喂
DL的发展历史
点这里查看
2022深度学习发展趋势
https://new.qq.com/rain/a/20221026A05R1700
总结
1.本节是前后内容的连接部分，通过手推BP算法，把前后学过的概念都有了更进一步的理解，感觉非常快乐。
2.这里终于来到深度学习，课程的总结精炼到位，配合更详细的内容拓展学习效果很好。
3.感谢Datawhale的小伙伴们，特别是组织直播的助教小哥哥小姐姐，这节收获颇丰。