数据分析——清洗数据（数据清洗思路）
off999 2025-06-10 17:28 17 浏览 0 评论
数据分析中清洗数据是确保数据质量和可靠性的关键步骤，通常包括以下方法步骤：
1. 数据评估与理解
- 目标：了解数据的基本情况，明确清洗方向。
- 检查数据概况：查看字段名、数据类型、样本分布、缺失值比例等。
- 统计描述：计算均值、中位数、标准差、极值等，初步发现异常。
- 可视化探索：通过箱线图、直方图、散点图等发现潜在问题（如离群值）。
2. 处理缺失值
- 识别缺失值：标记空值（如 NaN、NULL）或占位符（如 NA、Unknown）。
- 处理方法：
- 删除：删除缺失率过高的行或列（如缺失超过 70%）。
- 填充：
- 数值型：用均值、中位数、众数或插值法填充。
- 分类变量：用众数或单独标记为“缺失”类别。
- 时间序列：用前向填充（ffill）或后向填充（bfill）。
- 保留缺失：某些模型（如 XGBoost）可自动处理缺失值，需根据场景决定。
3. 处理重复数据
- 识别重复值：
- 完全重复的行：使用工具（如 Pandas 的 df.duplicated()）查找。
- 业务逻辑重复：根据关键字段（如用户 ID + 时间戳）判断。
- 处理方法：
- 删除完全重复的行（drop_duplicates()）。
- 合并逻辑重复数据（如保留最新记录或汇总统计值）。
4. 处理异常值（离群值）
- 检测方法：
- 统计方法：Z-Score（绝对值 >3 为异常）、IQR（四分位距法，超过 1.5 倍 IQR）。
- 可视化方法：箱线图、散点图。
- 业务规则：根据领域知识判断（如年龄为负数）。
- 处理方法：
- 删除异常值（谨慎使用，避免丢失关键信息）。
- 替换为阈值（如将超过 99% 分位数的值设为分位数上限）。
- 分箱处理（如将年龄分为区间）。
5. 数据转换与标准化
- 格式标准化：
- 统一日期格式（如 YYYY-MM-DD）。
- 处理文本大小写、空格、特殊字符（如去除首尾空格）。
- 统一分类变量编码（如将“男/女”转为 Male/Female）。
- 类型转换：
- 字符串转数值（如将“10%”转为 0.1）。
- 分类变量编码（如 One-Hot 编码、标签编码）。
- 数值标准化：
- 归一化（Min-Max Scaling）：将数据缩放到 [0, 1]。
- 标准化（Z-Score Normalization）：转为均值为 0、方差为 1。
6. 处理不一致数据
- 逻辑一致性：
- 检查字段间矛盾（如“年龄=5 岁”但“职业=工程师”）。
- 根据业务规则修正（如订单日期晚于发货日期）。
- 文本清洗：
- 去除停用词、HTML 标签、标点符号。
- 分词、词干提取（如英文的 running → run）。
- 合并多源数据：
- 统一字段命名（如 user_id 和 UserID）。
- 处理单位差异（如“公里”与“英里”的转换）。
7. 数据验证
- 完整性检查：确保清洗后无缺失或无效值。
- 一致性检查：验证字段间逻辑关系是否符合业务规则。
- 抽样验证：手动检查部分样本是否合理。
- 自动化测试：编写脚本验证数据分布或约束条件（如年龄范围 0-120）。
8. 文档记录与保存
- 记录清洗过程：记录每一步操作及原因（如删除某列、填充方法）。
- 保存清洗后数据：导出为 CSV、Excel 或数据库表，供后续分析使用。
工具示例
- Python：Pandas（dropna(), fillna(), replace()）、NumPy、Scikit-learn。
- R：dplyr、tidyr、stringr。
- 可视化工具：Matplotlib、Seaborn、Tableau。
- 自动化清洗工具：OpenRefine、Trifacta。
总结
数据清洗需结合业务场景灵活处理，核心目标是保证数据的 准确性、一致性、完整性，为后续分析和建模奠定基础。
相关推荐
- python import 出现 ModuleNotFoundError 解决方法
-
错误的原因是你的Python环境没有正确安装库文件。本文以Scapy为例，给出详细方案：1.确认是否成功安装Scapy运行以下命令检查Scapy是否已安装：pip3list|gre...
- Github 7.4k star，一个强大的 Python 库-sh!
-
大家好，今天为大家分享一个强大的Python库-sh。Github地址：https://github.com/amoffat/shsh库是Python生态系统中一个专门用于执行系统命令的第三方...
- 学习编程第148天 python编程循环的嵌套使用
-
今天学习的是刘金玉老师零基础Python教程第32期，主要内容是python编程循环的嵌套使用。（一）一维数组及输出#一维数组list1=["110001","四川二流子...
- 2025-07-09:使数组元素互不相同所需的最少操作次数。用go语言，
-
2025-07-09：使数组元素互不相同所需的最少操作次数。用go语言，给定一个整数数组nums和一个整数k，对于数组中的每个元素，你最多可以对其进行一次操作：将一个在区间[-k,k]内的...
- python数据分析numpy基础之max求数组最大值
-
1python数据分析numpy基础之max求数组最大值python的numpy库的max()函数，用于计算沿指定轴(一个轴或多个轴)的最大值。用法numpy.max(a,axis=None,...
- 加快Python算法的四个方法(四)Dask
-
CDA数据分析师出品相信大家在做一些算法经常会被庞大的数据量所造成的超多计算量需要的时间而折磨的痛苦不已，接下来我们围绕四个方法来帮助大家加快一下Python的计算时间，减少大家在算法上的等待时间。...
- 六十六、Leetcode数组系列(中篇)（leetcode679）
-
@Author：Runsen@Date：2020/6/8人生最重要的不是所站的位置，而是内心所朝的方向。只要我在每篇博文中写得自己体会，修炼身心；在每天的不断重复学习中，耐住寂寞，练就真功，不畏艰难...
- Numpy中的ndarray是什么?（'numpy.ndarray' object has no attribute 'append'）
-
1.创建ndarray创建数组最简单的办法就是使用array函数。它接受一切序列型的对象（包括其他数组），然后产生一个新的含有传入数据的Numpy数组。np.array会尝试为新建的这个数组推断出一个...
- Python中的数据导入与查询（python怎样导入数据库）
-
适用场景：快速导入文本/Excel数据→Pandas读取大型数值数据→Numpy处理复杂二进制文件→h5py/scipy.io数据库交互→SQLAlchemy+Pandas一、数据...
- 2025-07-02:统计数组中的美丽分割。用go语言，给定一个整数数组
-
2025-07-02：统计数组中的美丽分割。用go语言，给定一个整数数组nums，我们要把它划分成三个连续且非空的子数组nums1、nums2、nums3，且这三个子数组按顺序拼接后还原为原数组...
- 2025-07-10:字符相同的最短子字符串Ⅰ。用go语言，给定一个长度
-
2025-07-10：字符相同的最短子字符串Ⅰ。用go语言，给定一个长度为n的二进制字符串s和一个允许执行的最大操作次数numOps。每次操作可以选择字符串中的任意一个位置i（0≤i...
- 2025-06-19:识别数组中的最大异常值。用go语言，你有一个长度为
-
2025-06-19：识别数组中的最大异常值。用go语言，你有一个长度为n的整数数组nums，其中恰好有n-2个元素属于“特殊数字”类别。剩下的两个元素中，一个等于所有这些特殊数字的总和，另...
- 2025-06-28:长度可被 K 整除的子数组的最大元素和。用go语言，给
-
2025-06-28：长度可被K整除的子数组的最大元素和。用go语言，给定一个整数数组nums和一个整数k，求nums中长度为k的倍数的非空子数组中，子数组和的最大值。返回该最大和...
- 在 Python 中如何向一个已排序的数组(列表) 中插入一个数呢
-
在Python中如何向一个已排序的数组（列表）中插入一个数呢？方法有很多种，关键在于原来数组是什么样的排序，用到啥排序方法效率高，就用哪种。我们来练习其中的几种插入方法，另外也掌握下遍历数组的...
- 2025-07-04:统计符合条件长度为 3 的子数组数目。用go语言，给定
-
2025-07-04：统计符合条件长度为3的子数组数目。用go语言，给定一个整数数组nums，请你计算有多少个长度恰好为3的连续子数组满足这样的条件：子数组的第一个元素与第三个元素的和，正好...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- python import 出现 ModuleNotFoundError 解决方法
- Github 7.4k star，一个强大的 Python 库-sh!
- 学习编程第148天 python编程循环的嵌套使用
- 2025-07-09:使数组元素互不相同所需的最少操作次数。用go语言，
- python数据分析numpy基础之max求数组最大值
- 加快Python算法的四个方法(四)Dask
- 六十六、Leetcode数组系列(中篇)（leetcode679）
- Numpy中的ndarray是什么?（'numpy.ndarray' object has no attribute 'append'）
- Python中的数据导入与查询（python怎样导入数据库）
- 2025-07-02:统计数组中的美丽分割。用go语言，给定一个整数数组
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)