百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

Python中用pandas对标Excel自带功能——去除重复项

off999 2024-10-02 18:50 38 浏览 0 评论

转发本文并私信我"python"，即可获得Python资料以及各种心得(持续更新的)

经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas

前言

有时候数据中出现重复值，可能会导致最后的统计结果出现错误，因此，查找和移除重复值是数据处理中的常见操作。今天我们来看看 pandas 中是如何实现。

Excel 处理重复值

Excel 中直接提供了去除重复的功能，因此简单操作即可实现。如下：

  • 功能卡"数据"，"数据工具"中有"删除重复项"按钮
  • 接着可以选择以哪些列作为重复判断

除此之外，Excel 中还可以使用条件格式、高级筛选或函数公式实现差不多的功能

pandas 标记重复值

pandas 中同样提供一个简单方法标记出重复值，并且比 Excel 有更多灵活处理方式供你选择，我们来看看：

  • DataFrame.duplicated() ，生成是否为重复记录的布尔标记。默认是整行所有数据作为判断依据
  • 结果很明显，最后一行是重复行，因此标记列最后一行的值是 True

我们可以指定，当有重复值时，保留哪个位置的行。如下：

  • 默认情况下，duplicated() 的 keep 参数为 "first"，意思为"保留第一个"
  • 现在我们把 keep 设置为"last"，那么保留最后一个，因此现在重复的行中的第一行被标记为 True

除此之外，我们还可以把 keep 参数设置为 False，意思是"不保留"，如下：

  • 现在凡是存在重复的行，都被标记 True

通过参数 subset 可以指定哪些列作为判断依据：

像 Excel 一样去除重复

其实把重复值标记后，只需要简单筛选即可得到非重复的记录。但是 pandas 中有直接的方法去除重复。如下：

  • 调用 DataFrame.drop_duplicates() ，即可去除重复
  • 他的参数与规则与 duplicated 一模一样。实际就是把 duplicated() 标记为 True 的行去掉而已

最后

  1. DataFrame.duplicated() ，标记出重复项。使用 subset 指定重复值判断列，keep={'first','last',False} 指定怎么判断哪些是重复项
  2. DataFrame.drop_duplicates() ，去除重复项

下一节，将看看排序功能的实现。敬请关注。

如果希望从零开始学习 pandas ，那么可以看看我的 pandas 专栏。

相关推荐

tplogin管理员登录入口（tplogin重新设置密码）

tplogin.cn是新版tplink路由器的登录地址(管理页面地址)，在浏览器中输入tplogin.cn，就可以打开tplink路由器的管理页面(登录页面)。具体的登录方法如下：1、打开电脑上的浏...

psp模拟器怎么导入游戏（psp模拟器怎么导入游戏 Vivo手机）

方法如下：1、打开能操作文件的助手软件，用pp链接后点击左下文件，然后点常用目录下的程序用户，会出现ppsspp的文件夹。2、打开ppsspp文件夹，会出来四个选项文件夹，第一个进去后是psp文件夹，...

电脑系统怎样升级（电脑系统怎么升级）

电脑系统升级方法步骤，1、打开电脑，点击电脑左下角的开始菜单，在弹出的菜单选项中选择“控制面板”。2、点击“开始”，点击“控制面板”3、在控制面板中，点击“系统和安全”。4、点击启用或禁用自动更新。5...

win10正版系统下载网站（win10官方下载网站）
  • win10正版系统下载网站（win10官方下载网站）
  • win10正版系统下载网站（win10官方下载网站）
  • win10正版系统下载网站（win10官方下载网站）
  • win10正版系统下载网站（win10官方下载网站）
windows无法激活（windows无法激活有什么影响）

1.如果修复或重新组装了电脑，则可能是安装了不同版本的Windows。或者，如果在修复过程中为电脑使用了其他产品密钥，当使用该密钥的电脑数大于Microsoft软件许可条款允许的电脑数时，该密钥...

新机怎么激活windows10（新机怎么激活电池）
  • 新机怎么激活windows10（新机怎么激活电池）
  • 新机怎么激活windows10（新机怎么激活电池）
  • 新机怎么激活windows10（新机怎么激活电池）
  • 新机怎么激活windows10（新机怎么激活电池）
u盘文件恢复软件免费（恢复u盘数据免费的软件）
u盘文件恢复软件免费（恢复u盘数据免费的软件）

u盘损坏文件恢复方法：1、打开电脑桌面的“计算机”或“我的电脑”。2、然后再找到需要修复的u盘。3、打开“运行”窗口（可以直接按“Windows+R”快捷打开），输入“CMD”并点击“确定”按钮以进入命令提符界面。4、从打开的“命令提示符”...

2025-12-28 22:03 off999

win10蓝屏代码大全以及解决方法
  • win10蓝屏代码大全以及解决方法
  • win10蓝屏代码大全以及解决方法
  • win10蓝屏代码大全以及解决方法
  • win10蓝屏代码大全以及解决方法
电脑uac是什么意思

UAC就是用户帐户控制，在对计算机进行更改之前，用户帐户控制(UAC)会通知您。比如安装软件驱动什么的，默认UAC设置会在程序尝试对计算机进行更改时通知您，但您可以通过调整设置来控制UAC...

笔记本找不到自己家的wifi怎么办

1.笔记本电脑缺少无线网卡驱动，需要下载驱动如果笔记本电脑开机之后，无法显示WiFi网络的图标，这个时候多半是因为电脑缺少无线网卡驱动造成的，有时候自己在清理电脑的时候，不小心清理了驱动程序，便会...

电信宽带办理电话是多少（电信宽带办理联系电话）

电信宽带不一定需要电信手机号码，可以根据自身需要选择，有单独的宽带业务，一般要求预存一定时间的使用费。不过一般包含了宽带、手机号码的融合套餐总体上更优惠，对客户来说更划算。如果有相应需求的话，建议同时...

开机进入ghost启动项（电脑启动进入ghost）

电脑启动的时候进入GHOST界面方法：　　1、首先确认电脑装了GHOST软件。　　2、重启电脑，注意仔细观察电脑屏幕，会有一个3s或者10s的选择界面。让选择是进入GHOST界面，或者正常启动进入系...

华硕bios修复蓝屏图解（华硕bios修复蓝屏视频教程）

先看下BIOS是否可以识别到硬盘设备，若看不到，硬盘故障的可能性很大。若可以看到硬盘，建议先尝试进行BIOS兼容性设置：1，在BIOS界面，通过方向键进【Secure】菜单，通过方向键选择【Sec...

老电脑怎么装win7系统（老电脑装win7系统可以吗）

6年前的电脑，如果是用的当时最新的CPU的话，应该是第7代或者第6代酷睿等级的。运行windows7和windows10都应该没有压力。从软件的兼容性来说，还是建议安装windows10，因为现在有好...

电脑怎么设置到点自动关机（电脑怎样设置到点关机）

1、首先我们点击电脑屏幕左下角的开始按钮，在所有程序里依次选择附件---系统工具，接着打开任务计划程序。2、我们打开任务计划程序后，在最右边的操作框里选择创建基本任务，然后在创建基本任务对话框的名称一...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.