Machine Learning by Andrew Ng (3) -- Logistic回归

分类问题

在进行(例如肿瘤良性与否的判断)分类问题时,因结果之间具有明确的界限,我们往往采用0,1,2,3…等等来表示预测值。这时线性回归无法达到最优需求,因此我们引入了logistic回归算法来进行分类问题的求解。
在这里插入图片描述
我们在希望假设函数的值与预测范围较为吻合,因此定义了logistic回归。
在这里插入图片描述

假设函数展示

函数模型

引入(exp)指数函数进行需求拟合。
在这里插入图片描述

输出意义

在这里插入图片描述
logistic回归模型的h(x)实际上代表着positive result(该例情况下)的概率。

模型的决策边界

我们假设当预测值h(x)>=0.5时判断为positive result,则对特征值和参数的向量积进行大小判断。我们通过假设值进行了结果的判定,从而的得出了一条决策边界。
在这里插入图片描述
在这里插入图片描述

logistic回归中的代价函数

在logistic回归中,因为g(z)中包含了exp项,代价函数将呈现非凸性,我们将代价函数中的一项更改为一个新的Cost(x,x)进行替代。
在这里插入图片描述
Cost()的值代表了在不同给的的实际分类情况下(0,1),h(x)的运算值在不同程度下产生的代价量。例如在y=1时,h(x)趋于1时代价为0,在趋于0是代价急剧上升乃至无穷大。y=0的情况可推导而出。在这里插入图片描述

简化代价函数和梯度下降

可将Cost()简化成一式,如图中所示。
在这里插入图片描述
注意区别线性回归和logistic回归中梯度下降式中h(x)的区别。
在这里插入图片描述

高级优化

相较于梯度下降算法,数学家们已经给出了许多更为高效合理的算法模型,图中的引用将在后续作业中实践体会。
在这里插入图片描述
在这里插入图片描述

多元分类:one vs rest

在对每一个实际值进行可能估算时将剩下的结果共为一类,进行0-1-2-3到0-1的转变,并对每种实际值遍历,得到最大的h(x)值,即最为可靠的结果。
在这里插入图片描述在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_43131688/article/details/88881460