用标准方程法实现岭回归
import numpy as np
from numpy import genfromtxt
import matplotlib.pyplot as plt
# 导入数据
data = np.genfromtxt("C:\\ML\\chapter-1\\longley.csv",delimiter=",") # 这种方法只能读取数字,不能读取字符,字符会变成nan
print(data)
# 切分数据
x_data = data[1:,2:]
y_data = data[1:,1,np.newaxis]
print(x_data)
print(y_data)
print(np.mat(x_data).shape)
print(np.mat(y_data).shape)
# 给样本添加偏置项
X_data = np.concatenate((np.ones((16,1)),x_data),axis=1)
print(X_data.shape)
print(X_data[:3])
# 标准方程法求解回归参数
def weights(xArr,yArr,lam=0.2): # lam 岭系数
xMat = np.mat(xArr) # 转换成矩阵格式
yMat = np.mat(yArr)
xTx = xMat.T * xMat # 矩阵乘法
rxTx = xTx + np.eye(xMat.shape[1]) * lam # eye生成单位矩阵
# 计算矩阵的值,如果为0,说明该矩阵没有逆矩阵
if np.linalg.det(rxTx) == 0.0:
print('This matrix cannot do inverse')
return
# xTx.I为xTx的逆矩阵
ws = rxTx.I * xMat.T * yMat
return ws
ws = weights(X_data,y_data)
print(ws)
# 计算预测值
np.mat(X_data) * np.mat(ws)
print(np.mat(X_data) * np.mat(ws))