Gradient Boosting Machines
1、Machines：机器学习模型 - 对数据的产生规律建模
2、Boosting Machines - 弱学习器组合成强学习器/模型
3、Gradient Boosting Machines - 根据梯度下降方式组合弱学习器
Machines：
1、Machines：机器学习模型，建模数据产生规律 - 最小化目标函数
2、目标函数通常包含两个部分
a、损失函数：与任务有关（选择与训练数据匹配最好的模型）
回归：残差平方
分类：0-1损失、logistic损失、合叶损失（SVM）
b、正则化：与模型复杂度有关（选择最简单的模型）
L1正则
L2正则
Boosting Machines
boosting：将弱学习器组合成强学习器
弱学习器：比随机猜测性能好的学习器
常用弱学习器：决策树/分类回归树
决策树：每个叶子节点对应一个决策
分类回归树：每个叶子节点有个预测分数（score）,比决策树更灵活
Adaptive Boosting(AdaBoost): 第一个Boosting算法
弱分类器：只有一个分裂的决策树
----if feature_value > t,output 1;otherwise output 0
对当前分类器不能处理的样本，增加其权重
不断的加入新的弱学习器，直到达到终止条件
----强学习器：弱学习器的加权线性组合，权重与其正确率有关