线性回归模型
概述
机器学习整体大致可以分为两大类，分别就是回归与分类。线性回归和逻辑回归是两种最基本的模型，其它模型也大致是从这两类中演变来的，所以这两个模型算是机器学习的入门模型，虽然sklearn库中都有直接的代码可以调用，但是理解其原理，并自己手动实现还是很有必要的。
模型概述
所谓线性回归就是用一条直线去拟合数据，回归两字来自于遗传学，意思是回到平均水平。其简单形式为y = wx + b,我们要做的就是寻找到最合适的w和b，让预测准与真实值之间的误差最小，要想找到最合适的w和b，有两种方法，一种就是最小二乘法，一种就是梯度下降法。
有一说一，公式太难打了，主要公式如下面图片所示：
python代码实现
class Linear_Regression:
"""
实现简单线性回归
"""
def __init__(self):
pass
def train_gradient_descent(self, X, y, learning_rate=0.01,iters=100):
"""
用梯度下降法求参数
----------
X : 自变量数据，形状为（m,n）,m:数据的个数，n:自变量（或者特征）的个数
y : 因变量数据，形状为（m,1）
learning_rate : 学习速率，默认为0.01
iters : 迭代次数，默认为100
----------
"""
n_samples = X.shape[0]
n_features = X.shape[1]
#初始化参数
self.w = np.zeros(shape=(n_features,1))
self.b = 0
costs = []
for i in range(iters):
# 计算预测值
y_predict = np.dot(X, self.w) + self.b
# 计算损失函数
cost = np.sum((y_predict - y)**2) / (2*n_samples)
costs.append(cost)
if i % 100 == 0:
print(f"Cost at iteration {i}: {cost}")
# 计算梯度
dw = (1 / n_samples) * np.dot(X.T, (y_predict - y))
db = (1 / n_samples) * np.sum((y_predict - y))
# 更新梯度
self.w = self.w - learning_rate * dw
self.b = self.b - learning_rate * db
return self.w, self.b, costs
def train_normal_equation(self, X, y):
"""
最小二乘法，方程式法计算
"""
X = np.column_stack((np.ones(X.shape[0]),X))
X = np.matrix(X)
y = np.matrix(y)
coef = (X.T*X).I*X.T*y
self.w = coef[0]
self.b= coef[1:]
return self.w, self.b
def predict(self, X):
return np.dot(X, self.w) + self.b
简单实例验证
生成数据
生成数据代码如下：
X = np.random.rand(500,3) #生成形状为（500，3）的数据
coef = np.array([2,0.2,1.5]) #生成斜率项
y = 5 + np.dot(X,coef) #计算因变量值，形状为（500，）
y = y[:,np.newaxis] #改变y值形状为（500，1）
梯度下降法计算
运行如下代码：
linear_regression = Linear_Regression()
grd = linear_regression.train_gradient_descent(X,y,learning_rate=0.1,iters=1000)
print("-"*50)
print(f"斜率项为:\n{grd[0]}")
print(f"截距项为:\n{grd[1]}")
print("-"*50)
代码运行结果如下：
Cost at iteration 0: 23.908020401267393
Cost at iteration 100: 0.042615847946421086
Cost at iteration 200: 0.014364230409000197
Cost at iteration 300: 0.005176592296081314
Cost at iteration 400: 0.0019494499429811344
Cost at iteration 500: 0.0007538294158717608
Cost at iteration 600: 0.00029592278743143565
Cost at iteration 700: 0.00011713723139089097
Cost at iteration 800: 4.657686237953135e-05
Cost at iteration 900: 1.856514407834283e-05
--------------------------------------------------
斜率项为:
[[2.00696415]
[0.20748925]
[1.50849497]]
截距项为:
4.987877313714786
--------------------------------------------------
最小二乘法计算
运行如下代码：
ols = Linear_Regression().train_normal_equation(X,y)
print('-'*50)
print(f"斜率项为:\n{ols[1]}")
print(f"截距项为:\n{ols[0]}")
print('-'*50)
代码运行结果如下：
--------------------------------------------------
斜率项为:
[[2. ]
[0.2]
[1.5]]
截距项为:
[[5.]]
--------------------------------------------------
结语
基于最小二乘法改进的模型还有很多，如岭回归、Lasso回归、elasticnet回归等，其中岭回归用的是L2正则化，Lasso回归用的是L1正则化，elasticnet回归是两者结合。
希望本文对大家有所帮助，有空再写一下逻辑回归的内容，谢谢大家。