一、逻辑回归简介
1、逻辑回归（Logistic regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，即该方是一个分类算法。
• 典型应用：
• 图像分类
• 垃圾邮件检测
• 购买商品预测
• …
2、Sigmoid 函数
Sigmoid函数，也称为逻辑函数（Logistic function）
直观理解
• 将任意的输入映射到了[0,1]区间我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换，也就是分类任务。
3、逻辑回归 v.s. 线性回归
都是回归问题
•线性回归的回归目标是(−∞, +∞) •逻辑回归的回归目标是(0, 1)，所以常常用作分类
• We will fit a regression function on P(Y=1|X)
linear regression----> logistic regression
4、逻辑回归
对于二分类问题，我们可以：
我们将 f(x,w)看做是可能性（概率），那么我们可以得到：
5、最大似然概率
对于全部N个样本，全部分类正确的概率是
那么我们的目标就是最大化J(w)。
6、对数似然概率
将上式子直接不好优化，那么我们取对数
那么我们的目标就是最大化L(w)
7、最大log似然求解
We could learn w by maximizing the log likelihood using gradient ascent
二、二分类分类器处理多分类问题
- 一对多（One v.s. other）
- 一对一（One v.s. One）
二分类扩展到多分类
一对多（One v.s. other） • 区分[cat, dog, bird]
• 二值分类器：clf_bin
• 猫的分类器：
• if_cat = clf_bin((X_cat,Y_cat), (X_ncat,Y_ncat))
• 狗的分类器：
• if_dog = clf_bin((X_dog,Y_dog), (X_ndog,Y_ndog))
• 鸟的分类器：
• if_bird = clf_bin((X_bird, Y_bird), (X_nbird, Y_nbird))
1、一对多（One v.s. other）
一对多（One v.s. other）
- 分类，输入样本x
- 使用if_cat, if_dog, if_bird三个分类器进行分类
- 哪个分类器的值大就是哪一类
二分类扩展到多分类
一对一（One v.s. One） • 区分[cat, dog, bird]
• 二值分类器：clf_bin
• 猫/狗的分类器：catdog_clf = clf_bin(..,..)
• 猫/鸟的分类器：catbird_clf = clf_bin(..,...)
• 狗/鸟的分类器：dogbird_clf = clf_bin(..,..)
1、一对一（One v.s. One）
- 分类，输入样本x
- 使用catdog_clf, catbird_clf, dogbird_clf三个分类器进行分类
-
然后进行投票，票数多赢，比如两个分类器都投cat，那么就是cat
