机器学习---线性模型

本帖为学习笔记帖，参照b站解读西瓜书、西瓜书来记的，如有漏错，欢迎批评指正。

---

基本形式（西瓜书上的）

给定由 $d$ 个属性描述的示例 $x=（x_1,x_2,...,x_d）$，其中 $x_i$ 是 $x$ 在第 $i$ 个属性上的取值，线性模型（Linear model）试图学得一个属性的线性组合来进行预测函数，即
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$

写成向量形式为：
$$f(x)={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b$$,
其中 $\mathbf{w}=(w_1;w_2;...;w_d)$.在 $\mathbf{w}$ 和 $b$ 学得之后，模型就可以确定了。

一元线性回归

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(\bm{x}_1,y_1),(\bm{x}_2,y_2),...,(\bm{x}_m,y_m)\} D={ (x1​,y1​),(x2​,y2​),...,(xm​,ym​)}，其中 ${\mathbf{x}}_{\mathbf{i}}=(x_{i1};x_{i2};...;x_{id}),y_i\in \mathbb{R}$ .“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。

当 $d=1$时，$w,b$ 为单个的数时为一元线性回归。

线性回归试图学得：
$$f(x_i)=w{x}_i+b,使得f(x_i)\approx y_i$$

通过学习得到 $w,b$ ：
$$\begin{array}{rl}(w^{\ast },b^{\ast })& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}$$

目标函数求解：该过程(即：求解 $w,b$ 使 $E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$)也称对线性回归模型的对最小二乘法“参数估计”。（parameter estimation）

因为，在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧式距离之和最小。

因此，将 $E_{(w,b)}$ 分别对 $w,b$ 求偏导：
$$\begin{array}{rl}\frac{\alpha E_{(w,b)}}{\alpha w}& =\frac{\alpha {\sum }_{i=1}^m(f(x_i)-y_i{)}^2}{\alpha w}\\ & =\frac{[w{x}_1+b-y_1{]}^2+[w{x}_2+b-y_2{]}^2+...+[w{x}_m+b-y_m{]}^2}{\alpha w}\\ & =2(w{x}_1+b-y_1)x_1+2(w{x}_2+b-y_2)x_2+...+2(w{x}_i+b-y_i)x_i\\ & =2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i\right)\end{array}$$

$$\begin{array}{rl}\frac{\alpha E_{(w,b)}}{\alpha b}& =\frac{\alpha {\sum }_{i=1}^m(f(x_i)-y_i{)}^2}{\alpha b}\\ & =\frac{[w{x}_1+b-y_1{]}^2+[w{x}_2+b-y_2{]}^2+...+[w{x}_m+b-y_m{]}^2}{\alpha b}\\ & =2(w{x}_1+b-y_1)+2(w{x}_2+b-y_2)+...+2(w{x}_i+b-y_i)\\ & =2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)\end{array}$$

令偏导为0，所以解得 $w,b$ 为：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}$$

$$b=\frac{1}{m}\sum _{m=1}^m(y_i-w{x}_i)$$

其中 $\overline{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$ 为 $x$ 的均值。