线性回归(linear regression)的概率解释—使用极大似然估计推导线性回归问题

线性回归（linear regression）

什么是线性回归？

线性回归对一个或者多个自变量和因变量之间的关系进行建模的一种回归分析，线性回归模型应用于有监督的回归问题。
线性回归模型为： $y^{(i)}=\Theta ^{T}\times x^{(i)}+\varepsilon ^{(i)}$
其中 $\epsilon$ 代表偏差项（error term）

关于 $\epsilon$ 的假设？

若对一个问题建立线性回归模型进行求解，其 $\epsilon$ 需满足以下两个假设：
1.独立的，即 $\epsilon$ 之间互不影响，相互独立。
2.同分布，即 $\epsilon$ 之间满足相同的分布（对于线性回归满足高斯分布，对于逻辑斯蒂回归满足伯努利分布）。

推导过程

假设 $\epsilon$ 满足均值为0，标准差为 $\sigma$ 的高斯分布；即 $\varepsilon \sim (0,\sigma ^{2})$。则：

$P(\varepsilon ^{(i)})= \frac{1}{2\pi \sigma }exp(-\frac{(\epsilon ^{(i)})^{2}}{2\sigma ^{2}})$

将模型代入得：

$P(y^{(i)}|x^{(i)},\Theta )= \frac{1}{2\pi \sigma }exp(-\frac{(y^{(i)}-\Theta ^{T}x^{(i)})^{2}}{2\sigma ^{2}})$

所以，关于 $\Theta$ 的似然函数为：

$L(\Theta)=L(\Theta,x,y)=P(y|x,\Theta)$

因为 $\Theta$ 满足独立同分布，所以：

$L(\Theta)=\prod_{i=1}^{m}P(y^{(i)}|x^{(i)},\Theta)=\prod_{i=1}^{m} \frac{1}{2\pi \sigma }exp(-\frac{(y^{(i)}-\Theta ^{T}x^{(i)})^{2}}{2\sigma ^{2}})$

使用极大似然估计即需要满足 max $L(\Theta)$ ，同时为便于求解，我们将似然函数求对数转化为对数似然，即：

$logL(\Theta )=\sum_{i=1}^{m}log \frac{1}{2\pi \sigma }exp(-\frac{(y^{(i)}-\Theta ^{T}x^{(i)})^{2}}{2\sigma ^{2}})=mlog\frac{1}{2\pi \sigma }+(-\frac{1}{ \sigma ^2}*\frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-\Theta^{T}x^{(i)}))$

去除常数项，并在等式两边添加负号，将求解目标函数最大值转换为求解目标函数最小值，得到下式：

$minL(-(\Theta ))\approx \frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-\Theta ^{T}x^{(i)})^{2}$

因此，我们使用极大似然估计得到了最小二乘法中的代价函数。