Python机器学习sklearn模块——决策树

决策树可以用来解决分类与回归问题，是一种非线性模型；一课决策树一般包含一个根节点、若干个内部节点和若干个叶节点；生产决策树最关键的是如何选择最优划分属性，我们希望分支节点所包含的样本近可能的属于同一类别，即结点的“纯度”越来越高；而评估样本集合纯度的常用指标有信息增益、增益率和基尼指数；

决策树容易出现过拟合状况，因为它们可以通过精确的描述每个训练样本的 特征而构建出复杂的决策树，从而忽略了一般性的真实关联关系；可以通过减枝来消除过拟合；决策树剪枝的基本策略有“预剪枝”和“后剪枝”，预剪枝是在决策树生成的过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点；后剪枝则是从训练集中先生成一颗完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换成叶结点能带来决策树泛化性能提升，则将该子树替换成叶结点；

分类

DecisionTreeClassifier能够实现多类别的分类，一个是向量x，大小为[n_samples,n_features]([样本量,属性量]),用来记录训练样本；一个是向量y，大小为[n_samples]，值为interger类型，用来记录训练样本的类标签：

from sklearn.datasets import load_iris
from sklearn import tree
iris = load_iris()
#iris.data存储的是属性值，iris.target存储的是类标签
dts = tree.DecisionTreeClassifier()
dts = dts.fit(iris.data, iris.target)

这里已经训练好了一课决策树，可以安装graphviz来展现：

import graphviz
dot_data = tree.export_graphviz(dts, out_file=None,
 feature_names = iris.feature_names,
 class_names = iris.target_names,
 filled=True)
graph = graphviz.Source(dot_data)
graph

训练好决策树后就可以来预测测试样本的类标签了：

dts.predict(iris.data[:1, :])
dts.predict_proba(iris.data[:1,:])
预测结果：array([0])
预测每个类的可能性：array([[ 1., 0., 0.]])

回归

DecisionTreeRegressor用来解决回归问题，这里的输入参数中Y向量中的值float类型：

import numpy as npfrom sklearn.tree 
import DecisionTreeRegressor
import matplotlib.pyplot as plt
#生成一个随机的数据集
rng = np.random.RandomState(1)
x = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(x).ravel()
y[::5] += 3 *(0.5 - rng.rand(16))
#训练模型
regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_1.fit(x, y)
regr_2.fit(x, y)
#预测
x_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
y_1 = regr_1.predict(x_test)
y_2 = regr_2.predict(x_test)

展示结果：

plt.figure()
plt.scatter(x, y, s=20, edgecolor="black", c="darkorange", label="data")
plt.plot(x_test, y_1, color="blue",label="max_depth=2", linewidth=2)
plt.plot(x_test, y_2, color="green", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decition Tree Regressor")
plt.legend()
plt.show()