参考：
https://blog.csdn.net/red_stone1?t=1
1.留一法，简单来说就是假设有 N 个样本，将每一个样本作为测试样本，其它 N-1 个样本作为训练样本。这样得到 N 个分类器，N 个测试结果。用这 N个结果的平均值来衡量模型的性能。
2.线性回归模型计算损失函数，例如均方差损失函数时，使用的都是 vertical offsets。perpendicular offsets 一般用于主成分分析（PCA）中。如图所示：
3.偏差（bias）可以看成模型预测与真实样本的差距，想要得到 low bias，就得复杂化模型，但是容易造成过拟合。方差（variance）可以看成模型在测试集上的表现，想要得到 low variance，就得简化模型，但是容易造成欠拟合。
如果模型过于简单，通常会造成欠拟合，伴随着高偏差、低方差；如果模型过于复杂，通常会造成过拟合，伴随着低偏差、高方差。
3. 如果数据量较少，容易在假设空间找到一个模型对训练样本的拟合度很好，容易造成过拟合，该模型不具备良好的泛化能力。
如果假设空间较小，包含的可能的模型就比较少，也就不太可能找到一个模型能够对样本拟合得很好，容易造成高偏差、低方差，即欠拟合。
4.Lasso 回归其实就是在普通线性回归的损失函数的基础上增加了个 β 的约束，第一范数约束下，β 更有可能被约束成 0， 因此，Lasso 回归适用于样本数量较少，特征维度较大的情形，便于从较多特征中进行特征选择。例如 DNA 数据，特征维度很大，我们只希望通过 Lasso 回归找出与某些疾病有关的 DNA 片段，Lasso 回归会让一部分回归系数刚好可以被约束为 0，起到特征选择的效果。
5. Ridge 回归又称岭回归，它是普通线性回归加上 L2 正则项，用来防止训练过程中出现的过拟合。L2 正则化效果，限定区域是圆，这样，得到的回归系数为 0 的概率很小，很大概率是非零的。因此，比较来说，Lasso 回归更容易得到稀疏的回归系数，有利于舍弃冗余或无用特征，适用于特征选择。
6. 如果在线性回归模型中增加一个特征变量，下列可能发生的是（多选）？
A. R-squared 增大，Adjust R-squared 增大 B. R-squared 增大，Adjust R-squared 减小 C. R-squared 减小，Adjust R-squared 减小 D. R-squared 减小，Adjust R-squared 增大
**答案**：AB *R-Squared 反映的是大概有多准，因为，随着样本数量的增加，R-Squared 必然增加，无法真正定量说明准确程度，只能大概定量。 单独看 R-Squared，并不能推断出增加的特征是否有意义。通常来说，增加一个特征特征，R-Squared 可能变大也可能保持不变，两者不一定呈正相关。 如果使用校正决定系数（Adjusted R-Squared），增加一个特征变量，如果这个特征有意义，Adjusted R-Square 就会增大，若这个特征是冗余特征，Adjusted R-Squared 就会减小。分子部分表示真实值与预测值的平方差之和，类似于均方差 MSE；分母部分表示真实值与均值的平方差之和，类似于方差 Var。
均方误差：MSE=1m∑i=1m(y(i)−y^(i))2
评价均方误差：MAE=1m∑i=1m|y(i)−y^(i)|
7.求解线性回归系数，我们一般最常用的方法是梯度下降，利用迭代优化的方式。除此之外，还有一种方法是使用正规方程，原理是基于最小二乘法。下面对正规方程做简要的推导。
已知线性回归模型的损失函数 Ein 为：
Ein=1m(XW−Y)2
Ein=1m(XW−Y)2
对 Ein 计算导数，令 ∇Ein=0：
∇Ein=2m(XTXW−XTY)=0
∇Ein=2m(XTXW−XTY)=0
然后就能计算出 W：W=(XTX)−1XTY
W=(XTX)−1XTY
以上就是使用正规方程求解系数 W 的过程。可以看到，正规方程求解过程不需要学习因子，也没有迭代训练过程。当特征数目很多的时候，XTXXTX 矩阵求逆会很慢，这时梯度下降算法更好一些。
8.相关系数 r=0 只能说明两个变量之间不存在线性关系，仍然可能存在非线性关系。
9.SSE 是平方误差之和（Sum of Squared Error）
10.
相关（Correlation）是计算两个变量的线性相关程度，是对称的。也就是说，x 与 y 的相关系数和 y 与 x 的相关系数是一样的，没有差别。
回归（Regression）一般是利用 特征 x 预测输出 y，是单向的、非对称的。