数据分析中清洗数据是确保数据质量和可靠性的关键步骤，通常包括以下方法步骤：

1. 数据评估与理解

• 目标：了解数据的基本情况，明确清洗方向。
• 检查数据概况：查看字段名、数据类型、样本分布、缺失值比例等。
• 统计描述：计算均值、中位数、标准差、极值等，初步发现异常。
• 可视化探索：通过箱线图、直方图、散点图等发现潜在问题（如离群值）。

2. 处理缺失值

• 识别缺失值：标记空值（如 NaN、NULL）或占位符（如 NA、Unknown）。
• 处理方法：
• 删除：删除缺失率过高的行或列（如缺失超过 70%）。
• 填充：
• 数值型：用均值、中位数、众数或插值法填充。
• 分类变量：用众数或单独标记为“缺失”类别。
• 时间序列：用前向填充（ffill）或后向填充（bfill）。
• 保留缺失：某些模型（如 XGBoost）可自动处理缺失值，需根据场景决定。

3. 处理重复数据

• 识别重复值：
• 完全重复的行：使用工具（如 Pandas 的 df.duplicated()）查找。
• 业务逻辑重复：根据关键字段（如用户 ID + 时间戳）判断。
• 处理方法：
• 删除完全重复的行（drop_duplicates()）。
• 合并逻辑重复数据（如保留最新记录或汇总统计值）。

4. 处理异常值（离群值）

• 检测方法：
• 统计方法：Z-Score（绝对值 >3 为异常）、IQR（四分位距法，超过 1.5 倍 IQR）。
• 可视化方法：箱线图、散点图。
• 业务规则：根据领域知识判断（如年龄为负数）。
• 处理方法：
• 删除异常值（谨慎使用，避免丢失关键信息）。
• 替换为阈值（如将超过 99% 分位数的值设为分位数上限）。
• 分箱处理（如将年龄分为区间）。

5. 数据转换与标准化

• 格式标准化：
• 统一日期格式（如 YYYY-MM-DD）。
• 处理文本大小写、空格、特殊字符（如去除首尾空格）。
• 统一分类变量编码（如将“男/女”转为 Male/Female）。
• 类型转换：
• 字符串转数值（如将“10%”转为 0.1）。
• 分类变量编码（如 One-Hot 编码、标签编码）。
• 数值标准化：
• 归一化（Min-Max Scaling）：将数据缩放到 [0, 1]。
• 标准化（Z-Score Normalization）：转为均值为 0、方差为 1。

6. 处理不一致数据

• 逻辑一致性：
• 检查字段间矛盾（如“年龄=5 岁”但“职业=工程师”）。
• 根据业务规则修正（如订单日期晚于发货日期）。
• 文本清洗：
• 去除停用词、HTML 标签、标点符号。
• 分词、词干提取（如英文的 running → run）。
• 合并多源数据：
• 统一字段命名（如 user_id 和 UserID）。
• 处理单位差异（如“公里”与“英里”的转换）。

7. 数据验证

• 完整性检查：确保清洗后无缺失或无效值。
• 一致性检查：验证字段间逻辑关系是否符合业务规则。
• 抽样验证：手动检查部分样本是否合理。
• 自动化测试：编写脚本验证数据分布或约束条件（如年龄范围 0-120）。

8. 文档记录与保存

• 记录清洗过程：记录每一步操作及原因（如删除某列、填充方法）。
• 保存清洗后数据：导出为 CSV、Excel 或数据库表，供后续分析使用。

工具示例

• Python：Pandas（dropna(), fillna(), replace()）、NumPy、Scikit-learn。
• R：dplyr、tidyr、stringr。
• 可视化工具：Matplotlib、Seaborn、Tableau。
• 自动化清洗工具：OpenRefine、Trifacta。

总结

数据清洗需结合业务场景灵活处理，核心目标是保证数据的 准确性、一致性、完整性，为后续分析和建模奠定基础。