这类博文的主要目的是对回归任务的相关算法做一个总结，也根据自己学习的历程来写。
首先，根据目前所学，大致可以分为线性回归模型与非线性回归两类，如下所示。
线性回归
基于最小二乘（OLS）的简单回归；多变量回归等等
基于特征子集的 最优子集法，向前选择法，逐步回归，最小角回归等等
基于特征成分分析的 偏最小二乘，主成分回归；
基于特征缩减的 lasso, 岭回归。
非线性回归
对非线性模型的线性化（转换原始特征空间，得到新的特征空间）；
kernel平滑方法（对局部的平滑性约束，类似最近邻类方法）；
可加模型，树模型；
神经网络模型