一，基本形式
给定由d个属性描述的示例x = (x1;x2;...;xd)，线性模型试图学得一个通过属性的线性组合来进行预测的函数：
向量形式写成：
其中，w = (w1;w2;...;wd)。
二，线性回归
对于输入的属性数目只有一个的简单情形，线性回归试图学得：
我们使用最小二乘法来求解w,b，即使用均方误差最小化来进行模型求解：
求解w,b的过程称为线性回归模型的最小二乘”参数估计“。
若样本由d个属性描述，此时我们试图学得：
这称为多元线性回归。
现实任务中，若样本的属性数目过多，会出现多个解，他们都能使均方误差最小化。选择哪一个解作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化。
线性模型的变化：
考虑单调可微函数g(x)，令
这样得到的模型称为”广义线性模型“，其中函数g(x)称为”联系函数“。显然，对数线性回归是广义线性模型在g(x) = ln(x)时的特例。
三，对数几率回归
线性模型除了可以进行回归学习，还可以做分类任务。
对于二分类任务，将广义线性模型中g-(x)函数替换为对数几率函数——
即可得到：
此模型称为”对数几率回归“或者”逻辑回归“，它是一种分类学习方法。
对于其中参数w,b的确定，可通过”极大似然法“来估计，具体内容不再赘述。