前两篇决策树已经给同学总结并用python代码实现了三种算法：C4.5信息增益算法、ID3信息增益率算法、CART基尼系数算法，这三种算法都是可以创建出决策树模型。并且还解释了过拟合问题以及解决过拟合的方法：预剪枝和后剪枝。

决策树代码

在这三种算法中，大家觉得哪种算法更加好呢！这里先留给大家思考。python的sklearn模块中也存在可以调用的类。

from sklearn import tree
CIC=tree.DecisionTreeClassifier()#构建分类决策树参数
CIC.fit(X,Y)#训练模型
CIC.predict(X_test)#模型预测

主要设置的参数有：

criterion:表示节点字段的选择算法，参数有：gini；mes。

max_depth:决策树的最大深度，也就是预剪枝步骤。

min_samples_leaf:叶子结点的最小样本。

min_samples_split:表示根节点与中间节点的最小分割量。

以上的参数均具有防止过拟合的功能，上面参数如能合理的设置，那么过拟合问题会大大降低。至于如何设置参数要参考实际数据，通过大量的试错来验证哪类数据更好。以上的函数是解决分类性决策树问题，连续性可以使用DecisionTreeRegressor()参数设置大同小异。

随机森林

随机森林是决策树的扩展形式，从字面上来看，‘随机’就代表数据的选择是具有随机性的，‘森林’就代表具有很多的决策树，并且这里随机森林都是没有通过预剪枝和后剪枝的。决策树的生成过程采用Bootstrap抽样法。

随机森林的算法思想其实很简单，也就是少数决策服从多数决策。比如：当一个样本数据传入随机森林时，会有n个决策树进行预测，其中有p个决策树认为结果是：1，则有n-p个决策树认为是：0。如果n-p>p那么结果就为0，反之亦然。

Bootstrap采样法的思想就是重采样，假设你有1000条数据、10个自变量、1个因变量。

1. 从数据中随机抽取100条数据加入你的第一个决策树数据集编号为‘1’，随后放回数据集。
2. 重复步骤 "1." 10次那么就构建好你的第一个数据集‘1’，数据集‘1’中有1000条数据，10个自变量、1个因变量。
3. 如果你要构建5个决策树加入随机森林，那么重复以上两个步骤则可以得到5个数据集，并且大小与原始数据集相同。

数据构建完成，接下来构建决策树，构建方法使用的是CART决策树算法。随机使用p个自变量（其中p小于10）。以此类推构建全部5个决策树，然后让5个决策树进行预测，票多者当选。

以上便是随机森林的算法运行步骤是不是很简单。

随机森林代码

为了照顾一些不学算法的同学也能用到这个模型，这里我直接使用python的sklearn模块提供的代码调用即可，就不给大家从头到尾写算法了。

from sklearn import ensemble #ensemble模块中包含了随机森林算法调用
SJ=ensemble.RandomForestClassifier()#分类决策树调用
SJ=ensemble.RandomForestRegressor()#回归决策树调用

同样也可以根据决策数参数设置随机森林参数，随机森林增加了几个主要参数：

n_estimators:决策树个数，必须设置

bootstrap：bool类型数据，默认是True.即使用bootstrap随机抽样。

random_state:随机抽样生成器的种子，默认使用系统的随机数生成器

总结

前面给大家预留的一个问题，就是python的sklearn库是使用什么算法节选决策树节点的呢！相信看到这里的同学已经知道那就是CART基尼系数算法，至于为什么选择它当然是因为它名字好听啦！开玩笑的，实际上是因为它既可以处理离散型数据也可以处理连续性数据。

最后留给大家两个问题，问题1在构建决策树时自变量p的大小应该是多少呢？问题2在进行bootstrap抽样时，每次随机抽取的个数应该是多少，抽取的多少会影响决策树的数据结构吗？这在sklearn的随机森林中都为并未提及。在线求解！！！

每日日语语法：

时间的单位：时【じ】分【ぷん】

比如：６じ０ぷん。6時０分。