清洗数据花 3 小时？你可能用错了方法！

上周财务小张发来一份 "客户订单表"，要求清理重复数据并填充缺失的联系方式。我打开 Excel 一看 ——

• 2000 行数据里藏着 178 条重复记录（同一订单号出现多次）
• 联系方式列有 89 个空白单元格，导致 VLOOKUP 匹配时满屏 #N/A
• 手动操作：条件格式标重复值→筛选→删除→定位空值→填充…… 整整花了 3 小时，还漏删了 12 条！

Excel 清洗 3 大痛点：

1. 重复值判断难：部分字段重复（如 "张三" 和 "张三" 空格差异）无法识别
2. 缺失值处理繁：定位空值后需逐个判断填充规则（均值 / 中位数 / 自定义）
3. 批量操作卡：1 万行数据启用筛选就卡顿，更别说复杂条件判断

5 行 Python 代码搞定 3 小时工作量(代码复制就能用)

import pandas as pd

# 读取Excel文件（替换成你的文件名）
df = pd.read_excel("客户订单表.xlsx")

#  自动去重（按订单号+客户姓名判断重复）
df_clean = df.drop_duplicates(
    subset=["订单号", "客户姓名"],  # 哪些字段重复算重复记录
    keep="last",  # 保留最后一次出现的记录
    ignore_index=True  # 重置行号
)

#  智能填充缺失值
df_clean["联系方式"] = df_clean["联系方式"].fillna("未知")  # 文本列填"未知"
df_clean["金额"] = df_clean["金额"].fillna(df_clean["金额"].mean())  # 数值列填平均值

# 保存结果（不会覆盖原文件）
df_clean.to_excel("清洗后_客户订单表.xlsx", index=False)
print(" 清洗完成！重复数据：", len(df)-len(df_clean), "条")

实战技巧（这些坑我踩过）

1. 部分重复处理：如果只是 "手机号" 重复算重复，改 subset 参数：subset=["手机号"]
2. 顽固空格问题：先用这个代码去空格再去重df["客户姓名"] = df["客户姓名"].str.strip()
3. 缺失值判断：查看哪些列有缺失
4. print(df.isnull().sum()) # 会显示每列缺失数量
5. 数据备份：养成好习惯，永远另存为新文件to_excel("清洗后_xxx.xlsx") # 文件名加前缀

小提醒：运行代码前，把 Excel 文件和 Python 脚本放在同一个文件夹，不然会提示 "找不到文件"！如果不会新建 Python 文件，新建 txt 文档，把代码复制进去，改后缀为.py就行。

现在打开你的 Excel 试试吧！下次老板再发带重复数据的表格，你就能 1 分钟甩回清洗好的版本～ 有任何报错记得看代码里的注释，90% 的问题都有提示！

欢迎评论区分享一下自己遇到的问题~~