Python中用pandas对标Excel自带功能——去除重复项
off999 2024-10-02 18:50 30 浏览 0 评论
转发本文并私信我"python"，即可获得Python资料以及各种心得(持续更新的)
经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas
前言
有时候数据中出现重复值，可能会导致最后的统计结果出现错误，因此，查找和移除重复值是数据处理中的常见操作。今天我们来看看 pandas 中是如何实现。
Excel 处理重复值
Excel 中直接提供了去除重复的功能，因此简单操作即可实现。如下：
- 功能卡"数据"，"数据工具"中有"删除重复项"按钮
- 接着可以选择以哪些列作为重复判断
除此之外，Excel 中还可以使用条件格式、高级筛选或函数公式实现差不多的功能
pandas 标记重复值
pandas 中同样提供一个简单方法标记出重复值，并且比 Excel 有更多灵活处理方式供你选择，我们来看看：
- DataFrame.duplicated() ，生成是否为重复记录的布尔标记。默认是整行所有数据作为判断依据
- 结果很明显，最后一行是重复行，因此标记列最后一行的值是 True
我们可以指定，当有重复值时，保留哪个位置的行。如下：
- 默认情况下，duplicated() 的 keep 参数为 "first"，意思为"保留第一个"
- 现在我们把 keep 设置为"last"，那么保留最后一个，因此现在重复的行中的第一行被标记为 True
除此之外，我们还可以把 keep 参数设置为 False，意思是"不保留"，如下：
- 现在凡是存在重复的行，都被标记 True
通过参数 subset 可以指定哪些列作为判断依据：
像 Excel 一样去除重复
其实把重复值标记后，只需要简单筛选即可得到非重复的记录。但是 pandas 中有直接的方法去除重复。如下：
- 调用 DataFrame.drop_duplicates() ，即可去除重复
- 他的参数与规则与 duplicated 一模一样。实际就是把 duplicated() 标记为 True 的行去掉而已
最后
- DataFrame.duplicated() ，标记出重复项。使用 subset 指定重复值判断列，keep={'first','last',False} 指定怎么判断哪些是重复项
- DataFrame.drop_duplicates() ，去除重复项
下一节，将看看排序功能的实现。敬请关注。
如果希望从零开始学习 pandas ，那么可以看看我的 pandas 专栏。
相关推荐
- microsoft国际版（微软国际版bing）
-
win10系统自带的edge浏览器不分国内版和国际版。搜索引擎Bing分为国内版和国际版，区别如下一、迎合不同人群的需求。国际版显得更加个性，他迎合了不同人群的需求，在收缩上更加方便化和智能化，后期可...
- 为什么格式化sd卡后不能用了
-
SD卡受损后不格式化直接修复的方法：1，当系统发现SD卡受损之后，会提示进行格式化。2，把SD卡插入读卡器，接到电脑USB后，电脑提示格式化，点取消。然后查看一下属性。直接使用属性中的工具-开始检查...
- c盘删除的东西能恢复吗（c盘删掉的东西还在吗）
-
1.重新安装。 如果是安装在c盘下的普通应用程序，重新下载安装即可; 2.备份恢复或重装系统。 如果是删除了系统文件，在系统备过份且知道删除...
- 电脑如何重装系统winxp（电脑如何重装xp系统教程）
-
重装XP系统的步骤如下：1.首先备份您的重要文件和数据。2.插入XP系统安装光盘，重新启动计算机。3.在启动时按下计算机制造商指定的键（通常是F2、F12、Esc等）进入BIOS设置或启动菜单。...
- win8密钥永久激活工具（win8密钥永久激活工具在哪）
-
win8.1正式版升级win10，自动激活，win8.1的密钥不能激活win10，升级win10正式版以后，无论怎么安装win10，系统都是自动激活状态。终极PID检测产品密钥:GCRJD...
- 制作系统安装u盘教程（制作系统安装盘及系统安装的步骤）
-
答u盘做系统详细步骤如下： 1.首先我们要准备一个10G内存的空白u盘，然后在装机吧官网下载一个装机吧一键重装系统软件，安装完成后打开软件，制作模式选择”USB-HDD“分区格式为”NTFS“点击...
-
- 联想win7怎么进入bios设置（联想win7进入bios设置win10）
-
联想电脑win7进入bios设置的具体步骤如下： 1、首先我们打开电脑的同时，按下键盘上的“F2”。2、然后我们在弹出来的窗口中就可以进入到BIOS界面中。3、然后我们按下键盘上的“F10”，之后回车确定即可退出。联想电脑win7...
-
2025-11-09 14:03 off999
- 优盘里面的文件被误删了能否找回
-
如果您的文件在很久以前被误删并且没有进行任何操作，那么有可能通过一些专业的数据恢复工具来恢复被删除的文件。以下是一些可能的操作步骤：1.停止使用U盘：为了最大限度地提高恢复成功的几率，请停止使用U盘...
- 电脑系统程序下载（电脑应用程序下载）
-
1、首先下载并安装DriverDroid，运行后根据设置向导进行设置。2、然后注意安卓手机已获取ROOT，设置时需要连接电脑。3、将手机自动下载的bios文件移动到镜像根目录下（手机内存/Downlo...
- 万能网卡驱动离线安装包下载
-
电脑没网是吧，那你可以先用手机下载。之后放电脑上安装的万能网卡驱动下载地址http://drivers.160.com/universal/camera.html该驱动能够使大部分的网卡能够被系统...
- 正版office和盗版区别（office正版和盗版可以共存吗）
-
区别主要有三方面：1.office正版是付费的，而且价格相对而言较高，盗版呢价格相对低或者干脆免费。2.office正版因为是官方发行，文件肯定完整，功能齐全，稳定。盗版呢一般都是破译的或者是拷贝的，...
- ヽ这个符号怎么打出来（这个符号怎么打出来是在中间的）
-
下载酷狗拼音，软键盘就有了。ˋ☆╲ヽ
- 120g固态硬盘够用吗（10几年的老电脑换个固态硬盘）
-
一般办公家用还是够用了，分两个区，系统盘分50G，剩余的分一个区做资料盘。特殊要求，资料文件比较多的话，128g是不够用，只能分一个区。这个主要取决于您电脑主要的用途，如果您的电脑只是用来日常办公和娱...
- 谷歌浏览器google（谷歌浏览器googleplay）
-
GoogleChrome，又称Google浏览器，是一个美国Google（谷歌）公司开发的网页浏览器。该浏览器是基于其他开源软件所撰写，包括WebKit，目标是提升稳定性、速度和安全性，并创造出简单且...
- android13正式版下载（安卓版本13）
-
出现该问题的原因是，用户在设置里开启了新下载的APP，仅添加到APP资源库选项。大家只要进入“设置-主屏幕”，把新下载的APP，改为“添加到主屏幕”即可解决问题。修改完成后，你再进入AppStore下...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
慕ke 前端工程师2024「完整」
-
失业程序员复习python笔记——条件与循环
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)