图解机器学习读书笔记-CH4

带约束条件的最小二乘法

单纯的最小二乘法容易过拟合, 带约束的最小二乘法能控制模型复杂度, 降低过拟合.

部分空间约束

含参线性模型, 使用全体参数空间:

将参数空间限制在一定范围内, 防止过拟合:

P是bxb维矩阵, 是P的值域\(R(P)\)的正交投影矩阵, 满足\(P^2=P, P^T=P\)
\(P\theta=\theta\)保证参数\(\theta\)不会便宜到R(P)外.

L2约束

模型选择