监督学习 —— 回归模型

- 线性回归模型

- 线性回归(linear regression)是一种线性模型，它假设输入变量x 和单个输出变量y之间存在线性关系

- 具体来说，利用线性回归模型，可以从一组输入变量X的线性组合中, 计算输出变量y

线性方程求解

假设我们有一个如下的二元一次方程：

　　　　　　　　　　　　y = ax + b

我们已知两组数据：　　x = l时，y = 3,即(1,3)

　　　　　　　　　　 x = 2 时,y = 5,即(2,5)

将数据输入方程中，可得：

　　　　　　　　　　　　a + b = 3

　　　　　　　　　　　　2a + b = 5

解得：　　　　a = 2, b = 1

即方程为：　　2x + 1 = y

当我们有任意一个x时，输入方程，就可以得到对应的y

例如x=5时,y = 11。

线性回归模型

• 给定有d个属性（特征）描述的示例x=（x1;x2;…；xd）,其中 xi 是 x 在第 i 个属性（特征）上的取值，

线性模型（linear model）试图学得一个通过属性（特征）的线性组合来进行预测的函数，即：

• —般用向量形式写成：

• 假设特征和结果都满足线性，即不大于一次方。

• w和b学得之后，模型就得以确定。

• 许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。

最小二乘法

• 基于均方误差最小化来进行模型求解的方法称为“最小二乘法” (least square method)

• 它的主要思想就是选择未知参数使得理论值与观测值之差的平方和达到最小。

- 我们假设输入属性（特征）的数目只有一个：

- 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

• 求解w和b,使得最小化的过程，称为线性回归模型的“最小二乘参数估计”

• 将分别对w和b求导，可以得到

• 令偏导数都为0,可以得到

——其中：