文章目录
P1 机器学习介绍
人工智能(目标) 》 机器学习(手段) 》 深度学习(方法)
机器学习就是自动找函式
- 你想找什么函式?
Regression: 输出是一个数值
Binary Classification and Multi-class Classification:输出是一个选项
Generation (生成)
- 怎样告诉机器你想找怎样的函式?
Supervised Learning
Reinforcement Learning
Unsupervised Learning
- 机器怎样找出你想要的函式?
限制函式尋找範圍
函式尋找方法 – Gradient Descent
前沿研究
Explainable AI : 解释原因
Adversarial Attack :add noise
Network Compression : 模型压缩
Anomaly Detection : I don‘t kown
Transfer Learning(Domain Adversarial Learning) : 迁移学习
Meta Learning : Learn to learn
Life-long Learning : 终身学习
P2 Regrssion
机器学习的三个步骤
过拟合:训练集上表现好,测试集上表现差
P3 误差来源
如何判断是bias 还是 variance?
对欠拟合和过拟合如何处理?
- 欠拟合
重新设计模型(考虑更多的feature,设计更复杂的模型)
- 过拟合
模型选择
你不应该这样做:对测试集动手脚
正确的做法:
交叉验证(把训练集分两部分:一部分训练,一部分验证)
P4 Gradient Descent
Review: Gradient Descent
Gradient Descent Tip 1: Tuning your learning rates
什么样的学习率最好?(随着参数的update,loss会下降速率适合)
Adaptive Learning Rates(自适应学习率)
Adagrad
Adagrad 存在的矛盾?(引出最好的更新步伐,)
解释之前的矛盾
Tip 2: Stochastic Gradient Descent(Tip2:随机梯度下降法)
Gradient Descent Tip 3: Feature Scaling(Tip3:特征缩放)
为什么要做特征缩放?
怎样做缩放?
梯度下降的理论基础(泰勒展开式,前提是学习率足够小)
梯度下降的限制(鞍点,局部最小点,近似0的点)
P5 Classification
回归当作线性模型来做可以吗?(不可以)
引入概率模型(概率没学好这一部分没听懂,总之化简后还是y = wx + b的形式,可不可以直接找w和b?)
P6 Logistic Regression(逻辑回归)
Step1 逻辑回归的函数集
对比线性回归(Linear Regression)
Step2 定义损失函数
cross entropy(交叉熵)
Step3 寻找最好的函数
损失函数:为什么不学线性回归用平方误差?
判别模型(Discriminative)v.s. 生成模型(Generative)
多类别分类
SofeMax
逻辑回归的限制(一条线,解决办法:转化平面)
解决办法:特征转换
让机器自动来做特征转化(级联逻辑回归模型),顺便引出神经网络