百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Excel数据清洗不用愁:Python自动化去重与缺失值处理实战生成

off999 2025-08-05 20:26 20 浏览 0 评论

清洗数据花 3 小时?你可能用错了方法!

上周财务小张发来一份 "客户订单表",要求清理重复数据并填充缺失的联系方式。我打开 Excel 一看 ——

  • 2000 行数据里藏着 178 条重复记录(同一订单号出现多次)
  • 联系方式列有 89 个空白单元格,导致 VLOOKUP 匹配时满屏 #N/A
  • 手动操作:条件格式标重复值→筛选→删除→定位空值→填充…… 整整花了 3 小时,还漏删了 12 条!

Excel 清洗 3 大痛点:

  1. 重复值判断难:部分字段重复(如 "张三" 和 "张三" 空格差异)无法识别
  2. 缺失值处理繁:定位空值后需逐个判断填充规则(均值 / 中位数 / 自定义)
  3. 批量操作卡:1 万行数据启用筛选就卡顿,更别说复杂条件判断

5 行 Python 代码搞定 3 小时工作量(代码复制就能用)

import pandas as pd

# 读取Excel文件(替换成你的文件名)
df = pd.read_excel("客户订单表.xlsx")

#  自动去重(按订单号+客户姓名判断重复)
df_clean = df.drop_duplicates(
    subset=["订单号", "客户姓名"],  # 哪些字段重复算重复记录
    keep="last",  # 保留最后一次出现的记录
    ignore_index=True  # 重置行号
)

#  智能填充缺失值
df_clean["联系方式"] = df_clean["联系方式"].fillna("未知")  # 文本列填"未知"
df_clean["金额"] = df_clean["金额"].fillna(df_clean["金额"].mean())  # 数值列填平均值

# 保存结果(不会覆盖原文件)
df_clean.to_excel("清洗后_客户订单表.xlsx", index=False)
print(" 清洗完成!重复数据:", len(df)-len(df_clean), "条")

实战技巧(这些坑我踩过)

  1. 部分重复处理:如果只是 "手机号" 重复算重复,改 subset 参数:subset=["手机号"]
  2. 顽固空格问题:先用这个代码去空格再去重df["客户姓名"] = df["客户姓名"].str.strip()
  3. 缺失值判断:查看哪些列有缺失
  4. print(df.isnull().sum()) # 会显示每列缺失数量
  5. 数据备份:养成好习惯,永远另存为新文件to_excel("清洗后_xxx.xlsx") # 文件名加前缀

小提醒:运行代码前,把 Excel 文件和 Python 脚本放在同一个文件夹,不然会提示 "找不到文件"!如果不会新建 Python 文件,新建 txt 文档,把代码复制进去,改后缀为.py就行。


现在打开你的 Excel 试试吧!下次老板再发带重复数据的表格,你就能 1 分钟甩回清洗好的版本~ 有任何报错记得看代码里的注释,90% 的问题都有提示!

欢迎评论区分享一下自己遇到的问题~~

相关推荐

正版office和盗版区别(office正版和盗版可以共存吗)

区别主要有三方面:1.office正版是付费的,而且价格相对而言较高,盗版呢价格相对低或者干脆免费。2.office正版因为是官方发行,文件肯定完整,功能齐全,稳定。盗版呢一般都是破译的或者是拷贝的,...

ヽ这个符号怎么打出来(这个符号怎么打出来是在中间的)

下载酷狗拼音,软键盘就有了。ˋ☆╲ヽ

120g固态硬盘够用吗(10几年的老电脑换个固态硬盘)

一般办公家用还是够用了,分两个区,系统盘分50G,剩余的分一个区做资料盘。特殊要求,资料文件比较多的话,128g是不够用,只能分一个区。这个主要取决于您电脑主要的用途,如果您的电脑只是用来日常办公和娱...

谷歌浏览器google(谷歌浏览器googleplay)

GoogleChrome,又称Google浏览器,是一个美国Google(谷歌)公司开发的网页浏览器。该浏览器是基于其他开源软件所撰写,包括WebKit,目标是提升稳定性、速度和安全性,并创造出简单且...

android13正式版下载(安卓版本13)

出现该问题的原因是,用户在设置里开启了新下载的APP,仅添加到APP资源库选项。大家只要进入“设置-主屏幕”,把新下载的APP,改为“添加到主屏幕”即可解决问题。修改完成后,你再进入AppStore下...

firefox浏览器安卓版(firefox浏览器安卓版 打开本地网页)

要进入火狐浏览器手机版的主页,你可以通过以下几种方式进行:首先,打开火狐浏览器App,然后点击右上角的三条横线菜单按钮,接着选择“主页”选项。另外,你也可以直接在浏览器地址栏中输入“about:hom...

电脑cpu性能排行榜天梯图(“电脑cpu性能天梯图”)

一、英特尔酷睿i7670。这款英特尔CPU采用的是超频新芯,最大程度的提升处理器的超频能力。二、英特尔酷睿i74790kCPU:这款CPU采用22纳米制程工艺的框架,它的默认频率是4.0到4.4Ghz...

硬盘怎么分区合理(硬盘怎么分区合理一点)
  • 硬盘怎么分区合理(硬盘怎么分区合理一点)
  • 硬盘怎么分区合理(硬盘怎么分区合理一点)
  • 硬盘怎么分区合理(硬盘怎么分区合理一点)
  • 硬盘怎么分区合理(硬盘怎么分区合理一点)
路由器怎么设置密码不被别人蹭网
  • 路由器怎么设置密码不被别人蹭网
  • 路由器怎么设置密码不被别人蹭网
  • 路由器怎么设置密码不被别人蹭网
  • 路由器怎么设置密码不被别人蹭网
电脑自由截屏的快捷键是什么

快捷键是ctrl+alt+a,我们可将聊天窗口缩小,放在旁边。然后找到想要截屏的位置,这时我们在截屏旁边,就更加的方便了。在键盘中按下PrintScreenSysRq(简写为PrtSc)键,此快捷...

windows10精简版官网下载(win10官方精简版下载)

精简版的意思的它比原版的功能和软件少了,其实精简版的更适合大众,没有多余的其他必要功能,更快Win10版本主要为四个分别是专业版、家庭版、企业版、教育版,其实除了这四个之外,还有工作站版、LTSB/L...

cad2008安装失败(Win11安装cad2008安装失败)

解决方法:1、右键点击“开始”按钮,选择“程序和功能”;2、然后点击“启用或关闭windows功能”;3、勾选“Microsoft.NETFramework3.5(包括.Net2.0)”后点击确定按钮...

u盘在电脑上怎么找出来(u盘在电脑上怎么找到)

在电脑中找不到u盘,是因为系统没有自动识别出来,手动打开即可,具体的解决步骤如下:1、在桌面上点击我的电脑,右键,管理。2、打开管理界面,点击储存。3、进到储存页面。4、到这一步,也就可以看到了,有这...

联想一体机怎么进入bios(联想一体机怎么进入u盘启动)

所需工具:联想Lenovo品牌一体机、启动U盘。具体步骤如下:1、联想一体机从U盘启动设置步骤如下重启联想一体机,启动过程中按F1进入BIOS,部分机型则是开机按Enter键,进入之后再按F12选择进...

如何装ghost系统盘(ghost装机教程)

ghost是不能做系统c盘,它是一种对硬盘和分区制作成映像文件进行备份和恢复的工具软件,是不能进行操作系统安装。这个软件的使用目的是,当我们安装配置好操作系统以后,用ghost软件对c盘进行备份,或者...

取消回复欢迎 发表评论: