在本文中，决策树算法是所有其他树模型的基础模型。决策树包含在CART（分类和回归树）算法中，该算法是sklearn中的优化版本。这些是非参数监督学习。非参数表示数据是无分布的，即变量是标称或有序的。

决策树通过选择根节点进行决策，然后进一步细分为节点。拆分基于决策树中使用的度量。较早的文章是关于回归和分类的度量。但是在决策树的情况下，指标略有不同。

决策树中的指标

1. 基尼杂质和熵
2. 信息增益
3. 减少方差

决策树具有几种算法，可以从数据集中生成决策树，如下所示：

• ID3（迭代二分法3）：它生成较小的树，并且对连续数据无用，因为它会导致在该属性中找到多个拆分，并且需要更长的时间。它也确实在训练集上过拟合。
• C4.5：它是ID3的高级版本，它也可以基于阈值处理连续数据。在缺少值得数据集中也很有用。创建树木后，它也可以修剪。
• CART：这是一个分类和回归树，根据输出变量是分类变量还是数字变量生成树。CART检测到该属性中没有进一步的增益，并停止拆分。

我们将看到不同的算法如何使用不同的度量标准来进行树的拆分。

基尼和熵

• 该算法的CART版本中使用了基尼杂质。它用于发现对观察结果进行错误分类的可能性，并且可以使用较低的Gini值进行更好的拆分。
• 熵还用于根据错误分类的观察结果对树木进行分割。由于需要进行日志计算，因此需要花费更长的时间。
• 这里的主要区别是要注意，基尼的取值范围是0到0.5。熵的取值范围是0到1。
• 该算法的ID3和C4.5版本中使用了熵。

信息增益

它与熵值一起使用。从先验状态到信息状态的熵值之差。

通常，分割是基于最大增益或从目标变量到另一个属性的信息来完成的。

增益（i）=信息增益（Y）-熵（Ai）

Y —因变量

Ai-自变量的属性（i = 1,2…n）

减少方差

这在回归问题中很有用，因为当输出变量为连续数时，节点的分割基于方差值。

现在是时候对分类问题使用python进行实际操作了。

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

导入库之后的下一步，我们现在将读取CSV文件并将数据分为特征和目标变量。

dataset = pd.read_csv('Social_Network_Ads.csv')
x_set_values = dataset.iloc[:, [2, 3]].values
y_set_values = dataset.iloc[:, 4].values

现在将数据分为训练和测试数据。

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(x_set_values,
                y_set_values, test_size = 0.25, random_state = 0)

在下一步中，我们可以进行标准缩放，但是我认为在决策树中不应该这样做，因为拆分应该基于实际值而不是基于缩放值。但是，如果缩放部分如下所示：

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)

在此算法中，我们将使用熵

＃件分类器分类训练集
from sklearn.tree import DecisionTreeClassifier
classifier = DecisionTreeClassifier(criterion = 'entropy', random_state= 0)
classifier.fit(X_train, y_train)
#output:
DecisionTreeClassifier(class_weight=None, criterion='entropy',
            max_depth=None,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False,
            random_state=0,splitter='best')

现在，我们将预测数据并建立模型。

＃预测测试集结果
y_pred = classifier.predict(X_test)

现在，我们计算混淆矩阵。

from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)


array([[66,  2],
              [ 8, 24]], dtype=int64)

使用Entropy可视化训练和测试结果。

from matplotlib.colors import ListedColormap
X_set, y_set = X_train, y_train
X1, X2 = np.meshgrid(np.arange(start = X_set[:, 0].min() - 1, stop =
                     X_set[:, 0].max() + 1, step = 0.01),
                     np.arange(start = X_set[:, 1].min() - 1, stop = 
                     X_set[:, 1].max() + 1, step = 0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), 
             X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.5, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(), X1.max())
plt.ylim(X2.min(), X2.max())
for i, j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                alpha=0.5,
                c = ListedColormap(('red', 'green'))(i), label = j)
plt.title('Decision Tree (Training set)')
plt.xlabel('Age')
plt.ylabel('Estimated Salary')
plt.legend()
plt.show()

将标准更改为“ Gini”后，不会更改混淆矩阵值。

这些是训练集上带有熵和Gini的树分裂分离准则。我们观察到图中有很好的分类。

结论：

决策树在分类和回归中非常有用。标准参数给出数据集的不同树拆分。