随机森林案例分析

阅读随机森林模型前,建议首先阅读决策树模型手册(点击后跳到决策树模型的帮助手册页面),因为随机森林模型实质上是多个决策树模型的综合,决策树模型只构建一棵分类树,但是随机森林模型构建非常多棵决策树,相当于在重复决策树模型。随机森林模型基于随机样本进行构建,并且在每个树节点时,考虑到分裂随机特征性,因而一般意义上,随机森林模型优于决策树模型(但并不一定,实际研究中应该以数据为准)。

上述中提及随机森林模型是多个决策树模型的综合,但是数据本身就只有一份,其是如何做到多个决策树模型呢?此处涉及到随机抽样原理,比如有100个数据,第1次随机从其中随机抽取100个数据,就得到一份新数据,即可使用该新数据进行一次决策树模型构建,接着第2次重复随机抽取100个数据,又得到一份新数据,再次使用新数据进行一次决策树模型构建。不停地重复循环上述步骤,即得到多个决策树模型;至于应该是多少个决策树,这可由参数设置决定。在得到多个决策树后,利用投票方式(比如多份数据均指向应该为A类别,那么就为A类别)或者求解均值概率方式来统计最终的分类结果。

除此之外, 随机森林的其它参数和指标解读,与决策树基本一致,因为其实质性原理为多个决策树模型的综合而已。


随机森林模型案例

1 背景

随机森林时依旧使用经典的‘鸢尾花分类数据集’进行案例演示,共为150个样本,包括4个特征属性(4个自变量X),分别是花萼长度,花萼宽度,花瓣长度,花瓣宽度,标签为鸢尾花卉类别,共包括3个类别分别是刚毛鸢尾花、变色鸢尾花和弗吉尼亚鸢尾花(下称A、B、C三类)。

2 理论

随机森林模型的原理上,其可见下图。

比如本案例有150个样本,使用80%即120个样本用于训练模型,并且训练3个决策树(此处3为决策树数量参数值,可自行设置),该3个决策树的数据是随机抽样得到,构建得到3个决策树后,使用投票策略进行最终决策,该述整个模型即为随机森林模型全貌。具体涉及相关参数信息,如下:

上述参数中,节点分裂标准、节点分列最小样本、叶节点最小样本量和树最大深度共四个参数值,其与决策树模型完全一致,具体可参考决策树模型手册(点击后跳到决策树模型的帮助手册页面)。

最大特征数目限制:随机森林构建多棵决策树,每棵决策树不一定使用全部的特征(即自变量X),其可只使用部分特征,此参数值设置使用特征数量限制,通常情况下不需要对该参数设置,系统自动判断即可。

决策树数量:默认值为100,即构建100模决策树,该参数值可自行设置,通常不需要设置,决策树数量越多,模型构建越稳定,但模型运行时间越长。

是否有放回抽样:随机抽样原理上,比如100个样本中抽100个,第1次抽到编号5,第2次是否还可能继续抽到编号5,如果是放回抽样则可能,如果是不放回抽样则不可能再抽到编号5,正常情况下应该使用放回抽样,尤其是在样本数据集较少时。

袋外数据测试:比如100个样本随机抽100个,某些样本重复被抽到,可能余下一些编号无论如何也没有抽到,该类数据称为‘袋外数据’,此部分数据可在测试数据中进行使用。该参数不被选中时,即测试模型不使用袋外数据进行测试。

随机森林时,通常可以对“节点分列最小样本量”、“叶节点最小样本量”、“树最大深度”进行参数设置,该3个参数值与决策树模型完全一致,可参考决策树模型手册(点击后跳到决策树模型的帮助手册页面)。

3 操作

本例子操作如下:

训练集比例默认选择为:0.8即80%(150*0.8=120个样本)进行训练随机森林模型,余下20%即30个样本(测试数据)用于模型的验证。需要注意的是,多数情况下,会首先对数据进行标准化处理,处理方式一般使用为正态标准化,此处理目的是让数据保持一致性量纲。当然也可使用其它的量纲方式,比如区间化,归一化等。

接着对参数设置如下:

节点分裂标准默认为gini系数即可,不需要设置,最大特征数目限制默认自动进行即可,决策树数量SPSSAU默认为100,通常不需要设置,选中有放回采样和袋外数据测试。如果要进行参数设置,通过是对决策树模型已有的参数,包括“节点分列最小样本量”、“叶节点最小样本量”、“树最大深度”共3个参数进行设置,然后对比不同参数情况下模型的好坏,选择最优模型。本案例暂以默认值进行即可。

4 SPSSAU输出结果

SPSSAU共输出6项结果,依次为基本信息汇总,决策树结构图,特征模型图和特征权重图,训练集或测试集模型评估结果,测试集结果混淆矩阵,模型汇总表和模型代码,如下说明:

说明
基本信息汇总 因变量Y(标签项)的数据分布情况等
特征模型图和特征权重图 用于特征的重要性情况分析
训练集或测试集模型评估结果 分析训练集和测试集数据的模型效果评估,非常重要
测试集结果混淆矩阵 测试集数据的进一步效果评估,非常重要
模型汇总表 模型参数及评估汇总表格
模型代码 模型构建的核心python代码

上述表格中,基本信息汇总仅展示出因变量Y(标签项)的分类分布情况,特征模型图和特征权重图可用于查看特征的相对重要性对比情况;模型评估结果(包括训练集或测试集),其用于对模型的拟合效果判断,尤其是测试集的拟合效果,非常重要,因而SPSSAU单独提供测试集结果混淆矩阵,用于进一步查看测试集数据的效果情况;模型汇总表格将各类参数值进行汇总,并且在最后附录随机森林模型构建的核心代码。

5文字分析

针对特征权重重要性对比上,X3和X4对于随机森林模型构建决策帮助较大,而X1的帮助相对最低(特别提示:此处与决策树模型结论差别较大,这在特征项较少且数据量较少时出现较为正常)。

接下来针对最重要的模型拟合情况进行说明,如下表格:

上表格中分别针对训练集和测试集,提供四个评估指标,分别是精确率、召回率、f1-scrore、准确率,以及平均指标和样本量指标等,如下表格说明:

具体上述具体指标的解读,可见决策树模型帮助手册,通常使用F1-score值进行评估即可,整体上,训练数据的F1-score值为0.95很高,而且测试数据时综合f1-score值为0.94,也很高(需要提示的是:在决策树模型时该值为0.906),意味着随机森林带来相对更优的预测结果。

接着可查看测试数据的‘混淆矩阵’,即模型预测和事实情况的交叉集合,如下图:

‘混淆矩阵’时,右下三角对角线的值越大越好,其表示预测值和真实值完全一致。上图中仅B类中2个样本被判断成C类,其余全部正确,意味着本次随机森林模型在测试数据上表现良好。最后SPSSAU输出模型参数信息值,如下表格:

上述参数信息仅为再次输出汇总,并无其它目的,最后SPSSAU输出使用python中slearn包构建本次随机森林模型的核心代码如下:

model = RandomForestClassifier(criterion=gini, max_depth=40, min_samples_leaf=10, min_samples_split=2, n_estimators=100, bootstrap=True, oob_score=True, max_features=auto)

model.fit(x_train, y_train)

6 剖析

涉及以下几个关键点,分别如下:

  • 随机森林模型时是否需要标准化处理?
    一般建议是进行标准化处理,通常使用正态标准化处理方式即可。
  • 训练集比例应该选择多少?
    如果数据量很大,比如1万,那么训练集比例可以较高比如0.9,如果数据量较小,此时训练集比例选择较小预留出较多数据进行测试即可。
  • 保存预测值
    保存预测值时,SPSSAU会新生成一个标题用于存储模型预测的类别信息,其数字的意义与模型中标签项(因变量Y)的数字保持一致意义。
  • 参数如何设置?
    如果要进行参数设置,建议可将节点分列最小样本量往上调,叶节点最小样本量往上调,树最大深度可考虑设置相对较小值。设置后,分别将训练拟合效果,测试拟合效果进行汇总和对比,调整参数,找出相对最优模型。另建议保障训练集和测试集数据的f1-score值在0.9以上。
  • SPSSAU进行随机森林模型构建时,自变量X(特征项)中包括定类数据如何处理?
    随机森林模型时本身并不单独针对定类数据处理,如果有定类数据,建议对其哑变量处理后放入,关于哑变量可点击查看。
    http://spssau.com/front/spssau/helps/otherdocuments/dummy.html
  • SPSSAU中随机模型合格的判断标准是什么?
    机器学习模型中,通常均为先使用训练数据训练模型,然后使用测试数据测试模型效果。通常判断标准为训练模型具有良好的拟合效果,同时测试模型也有良好的拟合效果。机器学习模型中很容易出现‘过拟合’现象即假的好结果,因而一定需要重点关注测试数据的拟合效果。针对单一模型,可通过变换参数调优,与此同时,可使用多种机器学习模型,比如使用决策树、支持向量机SVM、神经网络等,综合对比选择最优模型。
  • 随机森林更多参考资料?
    更多关于随机森林的资料,可通过sklearn官方手册查看,点击查看。
    https://scikit-learn.org/stable/modules/ensemble.html#forests-of-randomized-trees
  • SPSSAU进行随机森林模型时提示数据质量异常?

当前随机森林模型支持分类任务,需要确保标签项(因变量Y)为定类数据,如果为定量连续数据,也或者样本量较少(或者非会员仅分析前100个样本)时可能出现无法计算因而提示数据质量异常。

猜你喜欢

转载自blog.csdn.net/m0_37228052/article/details/132986169