你是不是经常遇到这样的情况：辛辛苦苦爬来一堆数据，结果打开一看，要么是满屏乱码，要么是各种空值，根本没法直接用？别愁，今天就给大家分享一套超实用的 Python 数据清洗技巧，让你轻松搞定这些麻烦。

为啥数据清洗是数据分析的第一步？

做数据分析，数据质量是关键。要是拿到的是一堆 “脏数据”，里面掺杂着错误值、重复值，那分析出来的结果肯定不靠谱。就像你要做一道好菜，首先得把食材洗干净、处理好，不然再好的厨艺也做不出美味。

有数据显示，数据分析师在数据清洗上花费的时间占整个工作流程的 80%。可见，把数据清洗做好，数据分析就成功了一半。

数据常见的 5 大 “脏问题” 及解决办法

1. 空值：数据中的 “空白地带”

打开数据表格，一眼看到好多空白格，是不是很头疼？用 Pandas 几行代码就能轻松解决。

先看看每列有多少空值：

import pandas as pd

df = pd.read_csv('数据文件.csv')

print(df.isnull().sum()) # 统计每列空值数量

处理方法有两种：重要的数据列用平均值填充，不重要的直接删掉含空值的行。

# 用平均值填充价格列的空值

df['价格'] = df['价格'].fillna(df['价格'].mean())

# 删除商品名列有空值的行

df = df.dropna(subset=['商品名'])

2. 重复值：数据里的 “双胞胎”

同一条数据反复出现，会影响分析结果的准确性。用 drop_duplicates () 函数就能快速去重。

# 删除完全重复的行

df = df.drop_duplicates()

# 针对特定列去重，保留最后一条记录

df = df.drop_duplicates(subset=['手机号'], keep='last')

3. 格式混乱：数据的 “方言障碍”

日期格式五花八门，数字后面还带着各种单位，这样的数据怎么分析？教你一招统一格式。

# 统一日期格式

df['日期'] = pd.to_datetime(df['日期'])

# 从带单位的文本中提取数字，比如从“3.5kg”中提取3.5

df['重量'] = df['重量'].str.extract('(\d+\.?\d*)').astype(float)

4. 异常值：数据中的 “捣蛋分子”

身高出现 2500cm，月薪只有 10 元，这些明显不合理的数据就是异常值。用箱线图能快速识别。

import seaborn as sns

sns.boxplot(x=df['月薪']) # 画出箱线图查看异常值

然后根据合理范围过滤掉异常值：

# 保留月薪在2000到100000之间的数据

df = df[(df['月薪'] > 2000) & (df['月薪'] < 100000)]

5. 中英文乱码：数据的 “加密信息”

爬取中文网站时，经常会遇到 “~A(c)^A^A^3~Ayen^A^A” 这样的乱码，这是编码问题导致的。读取数据时指定编码格式就行。

# 用utf-8编码读取

df = pd.read_csv('数据文件.csv', encoding='utf-8')

# 如果还乱码，试试gbk编码

df = pd.read_csv('数据文件.csv', encoding='gbk')

实战：10 分钟搞定电商数据清洗

假设我们爬了某平台的口红销售数据，原始数据问题不少：

• 价格列有 “199 元”“239”“暂无报价”

• 销量列有 “3.2 万 +”“5682”“售罄”

• 品牌列有 “YSL”“圣罗兰”“圣罗蓝”

清洗步骤很简单：

1. 提取价格数字，“暂无报价” 用均价填充

2. 把销量统一成数字，“售罄” 记为 0

3. 品牌名统一成中文全称，修正错别字

4. 删除无效的数据行

清洗完之后，数据整整齐齐，接下来做分析就顺畅多了。

数据清洗的 3 个实用小习惯

1. 清洗前先备份原始数据，万一操作失误还能重来

2. 每一步操作都加上注释，方便以后查看和修改

3. 用直方图、散点图等可视化方式检查数据，异常值一眼就能看到

掌握了这些 Python 数据清洗技巧，再乱的数据也能变得井井有条。赶紧试试，让你的数据分析效率大大提升！如果在操作过程中遇到问题，欢迎在评论区留言，我会及时回复。觉得有用的话，别忘了点赞关注哦！