多元线性回归参数求解

预备知识

(1)L2范数

    

(2)标量对列向量求导

例如：

其中为的列向量，此处用的是分母布局。

例如：

 其中为的列向量，此处用的是分子布局。

 分子分母两种布局要注意清楚，不同的布局结果不同，例如(1)式的分子布局为，式子(2)的分母布局为。

(3)向量对向量求导

例如：

A为m阶方阵，为一个的列向量，利用分子布局，那么：

 利用分母布局，那么：

(4)开始推导

线性回归损失函数：

化成L2范数形式:

 注意，此处为的向量，为的矩阵。

求解最优解:

 笔者能力有限，仅供参考，可能其中有错误。