1 逻辑回归部分
常问，推导要会
推导：点击打开链接
2 SVM部分
常问，推导要会，精简版看下面链接，但是写的不是很详细， 看统计学
点击打开链接 @靠靠靠谱 的回答
3 集成学习
常问，推导要会
bagging方法：看周志华教授的西瓜书
boosting方法：看李航的蓝书，特别的对于GBDT，
点击打开链接写的很清晰，推导相对简单
这里注意一下，GBDT有两种，一种是残差学习，一种是负梯度代替残差的版本（所以有个G啊），为啥用负梯度近似残差也是常问的，其实这个说法就不对，残差只是在loss用最小二乘时候的一个特例,对
%5E2)
求梯度刚好就是
)
，换成其他loss function就不对了，所以应该反过来说，残差学习只是一个特例，负梯度才是通用的
stacking方法：没有特别好的讲解，都看看吧，
点击打开链接还行
决策树：cart树是最常问的，详见李航蓝书，从推导到剪枝都要会
4 softmax
点击打开链接（softmax | sigmod）
5 牛顿法和梯度下降
6 交叉验证
7 正则方法 L1、L2
正则是一大块，原理方法都要懂，可以参考这些文章点击打开链接 点击打开链接
8 归一化方法
基础问题，随便那本书都有
9 SVD分解 PCA ICA 白化
10 准确率召回率ROC AUC F1
11 样本分部不均匀
点击打开链接（补充分治）