Python机器学习决策树算法
off999 2024-11-26 07:24 37 浏览 0 评论
1、什么是决策树？
决策树（decision tree）也叫做判定树，类似于流程图的结构，每个内部的结点表示在一个属性上的测试，每个分支代表一个属性的输出，每个树叶结点代表类或类分布。书的顶层是树根结点。看下面的这个决策树图。
?
上面的这颗决策树模型是上一篇文章中的小明是否享受运动的例子构建起来的决策树模型，从根节点开始看，是有9天play和5天dont’play然后向下分，看三种天气情况向下走，然后又分别根据判定条件，最终走到树叶，确定出是不是享受运动，可以看出，最终分的叶子节点都是play或者don’play,不会出现两种情况共存。
忽然想到了数据结构老师--李老师讲到的一个决策树例子，决策时好比去饭店点菜，点什么样的菜，点的菜要清淡的还是咸的，加辣还是不加辣，最后确定出这一道菜。
从上面的介绍也可以看得出，决策树适合判定一个事物属于哪一类，所以它是机器学习中分类方法中的一个重要算法。
2、信息熵的概念
熵（entropy）是1948年，香农提出的。它代表一条信息不确定性大小，信息熵越大不确定性就越大。一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常非常不确定的事情，或者是我们一无所知的事情，需要了解大量信息==>信息量的度量就等于不确定性的多少。我们使用比特（bit）来衡量信息的多少。计算公式如下：
?
2、决策树归纳算法（ID3）
我们怎么来构造这么一个决策树呢，关键的问题在于谁是树根和谁是树枝，也就是说，我们要找到作为根和树枝的属性。
ID3算法就可以来帮助我们计算选择出属性判断结点。下面看计算公式和例子
信息获取量(Information Gain)：Gain(A) = Info(D) - Infor_A(D)，最终的Gain（A）代表着通过A来作为结点分类的时候获取的信息量的多少。Info（D）代表只按照结果来分的信息熵，Infor_A(D)代表根绝某一属性来分的信息熵。看下面的例子。
?
在最后一列，也就是label列中，有9个yes和5个no，所以：
?
下面如果我们根据年龄来分，假设我们计算youth，共有5个，其中对用的yes有2个no有三个，所以：
?
最终得到的age信息熵为：
?
用同样的方式我们可以计算出其他几个属性的信息熵：
Gain(income) = 0.029
Gain(student) = 0.151
Gain(credit_rating)=0.048
通过上面可以看出，最大的信息熵就是age的，也就是说最不缺的的就是age，所以我们就把它作为根结点。第一次构造出来的树如下：
?
然后我们进行重复，以上算法，确定出剩下的树枝，最终形成一个完整的决策树。
具体的算法实现我也没有仔细看，就不写了。感兴趣的同学可以去网上看一下，不止一种实现算法。
3、决策树的优缺点
优点：直观、便于理解、小规模数据有效。
缺点：处理连续性变量不好、类别较多的时候错误增加的比较快、可规模性一般。
相关推荐
- win7系统破解激活工具（windows7破解激活）
-
方法如下：1、开机到欢迎界面时，按Ctrl+Alt+Delete，跳出帐号窗口，输入用户名：administrator，回车。2、如果这个帐号也有密码采用开机启动时按F8选“带命令行的安全模式”。...
- 怎么制作winpeu盘启动盘（制作winpe启动盘有什么作用）
-
我们应先理解U盘启动盘：简单理解就是用U盘启动盘代替电脑以前的光驱，所以它只有3个最基本的功能：1、帮助电脑正常启动。比如电脑无限在启动界面循环；2、格式化硬盘。格式化硬盘所有分区，再重新分区；3、重...
- 磁力搜索引擎入口（磁力搜索器引擎）
-
01.磁力熊磁力熊，是一个内容丰富、功能最为强大的一个磁力搜索网站，通过它不仅仅可以搜索到大量纯净的1080P高分电影，像一些比较小众的影视剧这里也都能找到。02.夕阳小站夕阳小站，虽然网站整体界面设...
- 手机变成安全模式怎么解除（手机变成安全模式是怎么回事）
-
解除比较安全模式的方法主要有三种：1、按电源键长按机器会弹出重启菜单，将手机重启即可解除比较安全模式。2、查询手机操作手册，进入设置里找到“比较安全模式”，可以改变比较安全模式的状态，即可解除比较安全...
-
- win7官方最小精简版（最小win7精简版系统239m）
-
推荐win7系统精简版一、雨林木风系统v1906雨林雨林木风GhostWin7SP1旗舰版一如既往注重稳定与安全，本次6月版本更新优化注册表增强系统运行效率，不对系统关键文件进行修改保证稳定性，关闭系统可能会感染病毒的端口，更新最新...
-
2026-01-11 14:51 off999
- 华硕牌子电脑怎么样（华硕牌子电脑怎么样值得买吗）
-
1、华硕笔记本电脑在市场上有很高的认知度和认可度。除了在零售市场有出色口碑外，在特殊领域华硕笔记本一样有惊人的表现;2、华硕笔记本电脑的优点在于它的主板性能好还有就是它的散热效果也不错，性能比较稳定;...
- 两个文件夹内容自动同步（两个文件夹内容自动同步,删除不了）
-
D:盘中点右键，新建公文包B，将文件夹A拖到公文包B中。如果以后文件夹A中的文件修改了，打开公文包B，点菜单上的“公文包、全部更新”。则公文包B就会自动更新文件，与文件夹A中的保持一致。这种方法可以有...
- 无法删除的文件夹怎么删（无法删除文件夹或文件的原因有哪些）
-
删除不了的软件、文件或文件夹的解决方法:1、开机按F8不动，到高级选项出现在松开手，用上下键选安全模式，按照提示进入到安全模式中删除即可（安全模式与正常模式操作一样）。2、如果使用其他办法无法删...
- win7重装系统不用u盘（不用u盘新手重装系统win7）
-
可以通过以下步骤在不使用U盘的情况下重装Win7系统：首先需要备份您的电脑中的重要数据，以免在系统重装时丢失。进入系统的“控制面板”，找到“系统与安全”选项并单击进入。在“系统与安全”页面中，找到“备...
- 扣扣安全中心怎么修改密码（扣扣安全中心修改不了密码）
-
1、首先，打开QQ面板左下角的三个条形图标，然后在弹出选项的“安全”中单击“安全中心主页”。2、然后在打开的QQ安全中心页面中，单击头像下方的“修改密码”。3、然后将弹出一个提示来确认该QQ号码，并单...
- win10两台电脑怎么共享文件（win10两台电脑怎么共享文件夹）
-
在Windows10中，您可以使用以下步骤共享文件：1.在要共享的文件夹上单击右键，选择“属性”。2.选择“共享”选项卡，然后选择“高级共享”。3.在“高级共享”对话框中，选中“共享此文件...
- 电脑复制粘贴不了是怎么回事
-
电脑无法复制粘贴原因分析及解决方法：如果是中病毒的话，会有以下的这些情况：1、系统不能上网，例如宽带账号无法登录，qq登录不上，网页无法打开。2、复制粘贴功能失效。3、电脑任务栏上的信息不能显示。4、...
- win7一键烟雾头（win7烟雾头设置）
-
要调整Win7系统的烟雾头，首先需要打开“显示设置”窗口，在这个窗口中可以找到“分辨率”、“屏幕比例”等选项。接着，在“高级设置”中找到“显示适配器属性”选项，点击进入。在这个界面中，可以找到“3D设...
- win7系统一键装机下载（w7一键安装操作系统）
-
可以在温十系统电脑上下载温七装机系统，但需要按照正确的步骤进行安装。以下是一个可能的安装步骤：1.在温十系统电脑上下载温七装机系统的ISO文件，可以从互联网上下载，也可以从其他媒体（如DVD或USB驱...
- qq互联管理中心（qq互联管理中心是干什么的）
-
QQ互联是基于Discuz!云平台的一项服务，因此在开通QQ互联之前首先需要开通Discuz!云平台。在Discuz!X2中已经内置了云平台和相关服务，无需安装，在后台直接开启即可。可以呀，有...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装（win11系统u盘安装）
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)