1、前言
本人机器学习小白，跟着吴恩达教授的视频开始学习机器学习；第二次课包括的知识点：监督学习的概念，重点讲解了梯度下降算法（根据适用不同规模的数据分有批梯度下降、随机梯度下降）的概念和数学推导过程（重点），牵扯到部分线性代数的知识。结合自己课下查阅的一些资料和理解，这里写一个详细的笔记方便大家学习。
2、监督学习相关概念
对于机器学习而言，最重要的就是编写算法让机器进行自主的学习和训练，其中训练机器的方式主要有四种：监督学习（Supervised Learning）、无监督学习(Unsupervised Learning)、半监督学习(Semisupervised Learning)以及增强学习（强化学习）(Reinforcement Learning)。下面会给出对应的概念知识以及实例。
2.1 监督学习
监督学习（Supervised Learning），顾名思义监督下的学习一定是有个“人”告诉机器得到的结果是对的还是错的，所以监督学习是利用训练集数据对其进行训练得到相应的正确对应关系，从而测试集数据在得到的对应关系下进行运算得到相应的正确结果。常见的监督学习方式包括：分类、回归分析；回归（Regression）和分类（Classification）的算法区别在于输出变量的类型，定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。
以课程里房子大小与价格的关系实例进行说明。
Step 1：数据集的创建和分类：数据分为训练集和测试集，将已有的关于房子大小和价格对应的数据构成训练集，根据现有真实有效的数据进行训练（回归分析）得到大小和价格的对应关系（函数关系）。
Step 2：训练：根据得到的函数关系，对测试集数据进行预测分析对应的房子价格，并和真实的数据进行比对，得到一个量化“真实答案与模型预测有多少偏差”的函数的结果。这个函数被称为成本函数（cost function），也称为目标函数（objective function），效用函数（utility function）或适应度函数（fitness function）。然后，该函数的结果用于修改一个称为反向传播（backpropagation）过程中节点之间的连接强度和偏差，因为信息从结果节点“向后”传播。我们会为每个图片都重复一遍此操作，而在每种情况下，算法都在尽量最小化成本函数。
Step 3：测试训练得到的数学模型。
Step 4：使用：经过前期的训练测试和修正，现在可以利用该模型对房子价格进行预测分析。
2.2 无监督学习
无监督学习（Unsupervised Learning），事先不知道样本的类别，通过某种办法，把相似的样本放在一起归位一类；我们不告诉计算机怎么做，而是让它（计算机）自己去学习怎样做一些事情。非监督学习一般有两种思路。第一种思路是在指导机器时不为其指定明确的分类，而是在成功时采用某种形式的激励制度。需要注意的是，这类训练通常会置于决策问题的框架里，因为它的目标不是产生一个分类系统，而是做出最大回报的决定。常见的无监督学习算法：聚类算法，只需给定对应的距离度量方式即可。
2.3 半监督学习
处在监督学习和无监督学习之间的是半监督学习。Semi-Supervised Learning中使用的数据，有一部分是标记过的，而大部分是没有标记的。因此和监督学习相比，半监督学习的成本较低，但是又能达到较高的准确度。
2.4 强化学习
强化学习也是使用未标记的数据，但是可以通过某种方法知道你是离正确答案越来越近还是越来越远（即奖惩函数）。可以把奖惩函数想象成正确答案的一个延迟的、稀疏的形式。在监督学习中，能直接得到每个输入的对应的输出。强化学习中，训练一段时间后，你才能得到一个延迟的反馈，并且只有一点提示说明你是离答案越来越远还是越来越近。
详细参见：
一文读懂监督学习、无监督学习、半监督学习、强化学习四种方式:https://blog.csdn.net/charleswangzi/article/details/81200178
机器如何学习？5分钟弄懂监督学习、无监督学习、半监督学习与强化学习：https://www.sohu.com/a/150444351_697750