1. 回归问题和分类问题
回归与分类的区别 （参考博客园Harry_DM的文章)
1）输出数据的类型
分类输出的数据类型是离散数据，也就是分类的标签。比如我们前面通过学生学习预测考试是否通过，这里的预测结果是考试通过，或者不通过，这2种离散数据。
回归输出的是连续数据类型。比如我们通过学习时间预测学生的考试分数，这里的预测结果分数，是连续数据。
2）第2个区别是我们想要通过机器学习算法得到什么？
分类算法得到是一个决策面，用于对数据集中的数据进行分类。
回归算法得到是一个最优拟合线，这个线条可以最好的接近数据集中的各个点。
3）第3个区别是对模型的评估指标不一样
在监督分类中，我们我们通常会使用正确率作为为指标，也就是预测结果中分类正确数据占总数据的比例
在回归中，我们用决定系数R平方来评估模型的好坏。R平方表示有多少百分比的y波动被回归线描述。
2. 梯度下降法
- 能干啥？ 主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。如图1，即找到Final Value点。
以图2表示代价函数，则为寻找深蓝色的点。 - 啥是梯度？梯度即是某一点最大的方向导数，沿梯度方向函数有最大的变化率（正向增加反向减少）。
- 详细实现步骤&公式不再描述，这里主要写一些概念。
- 影响因素：如图2&3，梯度下降算法影响因素主要是初始参数和步长α。
- 梯度下降法不一定能得到全局最优解，得到的可能是局部最优解。为了得到最优解，可能需要多组初值进行多次训练，且步长选择很重要，如图3。
3. 卷积神经网络CNN
CNN入门学习资料：
视频 （强烈推荐这个up主的视频，我看的每个讲的都很清楚）
卷积神经网络的核心思想：
- 局部感知：每个神经元其实没有必要对全局图像进行感知 只需要对局部进行感知 ,然后在更高层将局部的信息综合起来就得到了全局的信息。
- 权值共享
- 多核卷积：一种卷积核，只提取一种特征，只形成一个特征图feature map，特征提取不充分。
- 空间下采样：为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计。例如，可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取到的特征)，同时还会改善结果(不容易过拟合)。这种聚合操作就叫做池化（ pooling）
俩常见的激活函数：
