相关视频（B站）
2021-（上）-机器学习基本概念简介
2021-（下）-深度学习基本概念简介
说明
李宏毅老师的机器学习课程主要内容是深度学习，传统机器学习内容推荐吴恩达老师的机器学习课程。
由于我先学过吴恩达老师的机器学习课程，所以该课程笔记很多地方就简单记录一下。
一、2021-（上）-机器学习基本概念简介
这节内容就是简单介绍一下机器学习的概念，讲了机器学习的三大步骤。（这三大步骤放在深度学习同样适用，毕竟深度学习是机器学习的子集）
1.机器学习是什么？
机器学习就是让机器具备找一个函式的能力。
2.ML三大任务
- Regression，回归问题（输出为连续数值）
- Classification，分类问题（输出为离散数值）
- Structured learning，结构学习（输出为一个有结构的内容，如一张图画、一段文字）
3.机器学习步骤
-
Function with unknown parameters(写出一个带有未知参数的函数)
（Ex. Linear Model y=wx+b. 这里y即是一个model，w、b为待训练的参数） -
Define loss fun from training data(定义loss函数)
-
Optimization(优化的方法为Gradient decent)
4.Error Surface
不同的w跟b的组合,都去计算它的Loss,然后就可以画出以下这一个等高线图
在这个等高线图上面,越偏红色系,代表计算出来的Loss越大,就代表这一组w跟b越差,如果越偏蓝色系,就代表Loss越小,就代表这一组w跟b越好.
4.Domain Knowledge
通常一个模型的修改来自你对这个问题的理解，即Domain Knowledge。
二、2021-（下）-深度学习基本概念简介
这一节解释了深度学习为什么能拟合非线性函数
1.拟合一条分段折线
对于下面这条红线（piecewise linear curve），你永远不能用Linear Model来很好的拟合它。所以我们需要一个更加有弹性的，有未知参数的Function。
我们可以观察一下红色的这一条曲线,它可以看作是一个常数,再加上一群蓝色的这样子的 Function,.
这个蓝色的 Function,它的特性是
- 当输入的值,当 x 轴的值小於某一个这个 Treshold 的时候,它是某一个定值
- 大於另外一个 Treshold 的时候,又是另外一个定值,
- 中间有一个斜坡
那么这条红线就可以由这四条蓝线相加得到。事实上， - 任何piecewise linear curve（分段线性线段）都可以看作是一个常数，再加上一堆蓝色的Function。
- 任何连续曲线，你只要取足够多的转折点，你都能用piecewise linear curve去逼近他
2.怎么表示这个蓝色折线呢？
那么如何来表示这个蓝色的折线呢（即Hard Sigmoid）？这里用了Sigmoid函数，它可以逼近Hard Sigmoid。
我们只需要调整w、b、c的值就可以制造不同形状的Sigmoid Function。
所以你只要有不同的 w 不同的 b 不同的 c，你就可以製造出不同的 Sigmoid Function，把不同的Sigmoid Function 叠起来以后，你就可以去逼近各种不同的Piecewise Linear 的 Function，然后Piecewise Linear 的 Function，可以拿来近似各种不同的 Continuous 的 Function。
3.再多考虑多个输入的特征
上面我们仅仅考虑了一个feature，那么再多考虑多个输入的特征要怎么做呢？我们这里用
- i来表示不同的sigmoid函数
- j来表示Feature的编号。
这边本来是
我们把Sigmoid替换掉里面的东西，得到
这里用图形的方式来展示，其实就是单层的神经网络。
4.深度学习
如果我们这里把输出的a1、a2、a3作为input，再多做几次，那其实就是Deep Learning了。
5.ReLU（额外内容）
Hard Sigmoid的表示方法这里一定要用Sigmoid吗？其实也可以用ReLU函数。一个Hard Sigmoid就是两个ReLU相加得到的。
ReLU的式子写作
