ISLR读书笔记六：逻辑斯蒂回归（logistic regression）

前言

之前几篇讲的线性回归处理的是回归问题，这一篇逻辑斯蒂回归（logistic regression）和下一篇线性判别分析（linear discriminant analysis）处理的是分类问题。
那么为什么不能用线性回归模型来解决分类问题呢？主要有以下三个原因：

1. 假设因变量有三个类：狗、猪、人。将狗赋值为1，猪赋值为2，人赋值为3。这种赋值方式默认了狗、猪、人是有顺序的。而且狗与猪之间的差距=猪与人之间的差距=1，这显然是有问题的。
2. 没有好的转换方法，可以将有三个及以上类的因变量转化为一个定量数据，用以进行线性回归。
3. 对于0/1二分类问题，线性回归得到的数值可以看作是属于这个类的概率。即如果令 $p(X)=Pr(Y=1|X)$，那么可以用线性模型 $p(X)={\beta }_0+{\beta }_{1}X$ 进行回归，得到的 $p(X)$ 就是 $Y$ 属于类1的概率。但问题是线性回归可能会产生 $p(X)$ 小于0或者大于1的数。

逻辑斯蒂模型

逻辑斯蒂模型（logistic model）的出发点就是上面的第三个原因。对于0/1二分类问题， 利用逻辑斯蒂函数（logistic function）将 $p(X)$ 的范围限制在 $[0,1]$ 之间。
$$p(X)=\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}}$$
如果对上式做一个简单变换，可以得到：
$$\frac{p(X)}{1-p(X)}=e^{{\beta }_0+{\beta }_{1}X}$$
$\frac{p(X)}{1-p(X)}$的数值称为胜算（odds）
如果对上式进行对数变换
$$log(\frac{p(X)}{1-p(X)})={\beta }_0+{\beta }_{1}X$$
所以逻辑斯蒂回归可以看作是胜算（odds）的对数，对X的线性回归。

估计回归系数

系数 ${\beta }_0$ 和 ${\beta }_1$ 由极大似然（maximum likelihood）估计得来。似然函数（likelihood function）为：$$l({\beta }_0,{\beta }_1)=\prod _{i:y_i=1}p(x_i)\prod _{i^{\prime }:y_{i^{\prime }}=0}(1-p(x_{i^{\prime }}))$$
${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 是使得上述似然函数最大的值。

预测

得到了 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 之后，就可以用
$$\hat{p}(X)=\frac{e^{{\hat{\beta }}_0+{\hat{\beta }}_{1}X}}{1+e^{{\hat{\beta }}_0+{\hat{\beta }}_{1}X}}$$

多元逻辑斯蒂回归

将 $log(\frac{p(X)}{1-p(X)})={\beta }_0+{\beta }_{1}X$ 进行扩展，可以得到多元逻辑斯蒂回归（multiple logistic regression）
$$log(\frac{p(X)}{1-p(X)})={\beta }_0+{\beta }_{1}X+\cdots +{\beta }_p{X}_p$$
代数变形一下，可以得到
$$p(X)=\frac{e^{{\beta }_0+{\beta }_{1}X+\cdots +{\beta }_p{X}_p}}{1+e^{{\beta }_0+{\beta }_{1}X+\cdots +{\beta }_p{X}_p}}$$
同样可以用极大似然估计的方法得到 ${\hat{\beta }}_0,{\hat{\beta }}_1,\cdots ,{\hat{\beta }}_p$