线性回归

文章目录

线性回归

学习目标

2.1 线性回归简介

1 线性回归应用场景
2 什么是线性回归

2.1 定义与公式
2.2 线性回归的特征与目标的关系分析

学习目标

掌握线性回归的实现过程
应用LinearRegression或SGDRegressor实现回归预测
知道回归算法的评估标准及其公式
知道过拟合与欠拟合的原因以及解决方法
知道岭回归的原理及与线性回归的不同之处
应用Ridge实现回归预测
应用joblib实现模型的保存与加载

2.1 线性回归简介

在这里插入图片描述

1 线性回归应用场景

房价预测
销售额度预测
贷款额度预测

举例：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hgqQm53v-1583243847789)(../images/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E4%B8%BE%E4%BE%8B.png)]

2 什么是线性回归

2.1 定义与公式

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u7O9b2gb-1583243847789)(../images/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%85%AC%E5%BC%8F.png)]

线性回归用矩阵表示举例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N1dc2nBs-1583243847790)(../images/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E7%9F%A9%E9%98%B5%E8%A1%A8%E7%A4%BA%E6%B3%95.png)]

那么怎么理解呢？我们来看几个例子

期末成绩：0.7×考试成绩+0.3×平时成绩
房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

上面两个例子，我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

2.2 线性回归的特征与目标的关系分析

线性回归当中主要有两种模型，**一种是线性关系，另一种是非线性关系。**在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

线性关系
- 单变量线性关系：
- 多变量线性关系

注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

更高维度的我们不用自己去想，记住这种关系即可

非线性关系

注释：为什么会这样的关系呢？原因是什么？

如果是非线性关系，那么回归方程可以理解为：w1x1+w2x2^2+w3x32

汪雯琦

发布了596 篇原创文章 · 获赞 790 · 访问量 10万+

私信关注

简单粗暴理解与实现机器学习线性回归（一）：线性回归简介、应用场景、特征与目标的关系分析