带你玩转数据分析-如何使用Python进行数据清洗?
off999 2024-09-16 00:48 18 浏览 0 评论
在上篇分享中，我们介绍了如何导入输入，如何对数据进行查看。这篇分享主要为大家介绍关于如何使用Python对Excel表格中的数据进行清洗。包括对于空值数据、大小写问题、数据格式、重复值等问题处理。
如何对空数据进行处理？
用于演示的数据如下图所示。
会看到，在语文科目下存在空值内容，那么我们先来看看获取到的数据情况。如下图所示，通过打印df的效果。看到空值是使用了NaN进行了填充判断。
在Excel中通过查找替换的方式可以实现对空值数据的处理，那么在Python中如何对数据进行处理呢？
对空数据进行删除操作
在Python中可以通过dropna函数来删除数据表中包含空值的字段内容。如下图所示。
从输出结果来看，确实在数据中包含了空值的行被删除了，打印出来的内容都是存在数据值的内容字段。
对空数据进行填充
除了对数据进行删除之外，还可以通过fillna函数操作来对空值进行填充。如下图所示
在上面代码中，我们通过df.fillna(1)操作对数据为空的字段进行了默认填充1的操作。输出结果图所示。
空格清理操作
除了空值的操作，字符中的空格也是在数据清洗中需要处理的问题，可以通过如下的操作来进行空格的处理，下面这个操作是用来处理姓名字段中的空格。
df['姓名'].map(str.strip)大小写的转换
在Python中通过 upper()、lower()函数来进行大小写的转换。如下图所示，可以看到在地址数据中出现了很多拼音数据，并且都是以小写的内容来展示。
我们可以通过upper()函数将其转换成大写。如下图所示，当然我们也可以通过lower()函数将大写转换成小写。
修改数据格式
在Excel表格中，我们可以通过设置单元格格式来修改数据的格式，在Python中，可以通过astype函数来完成对于单元格数据格式的修改。
这里先来修改一下数学成绩。
从图中可以看到，在没有进行修改之前，数学成绩的值是int64的，而经过修改之后数学成绩值为int32了。
删除重复数据值
可以看到，在数学成绩中，存在多个95分的数据，在Excel操作中可以通过删除重复数据的操作来实现，并且默认保留的实最先出现的数据，删除掉的是后续出现的数据。
在Python中可以通过drop_duplicates()函数来删除重复数据。
可以看到，drop_duplicates函数确实删除了重复数据，并且其规则也是与Excel的删除操作一样，保留了第一次出现的数据，删除后续出现的重复数据。
当然，我们可以通过 设置keep=last参数来设置保留规则，设置之后结果与默认情况正好相反。
数据的修改与替换
在上面空值数据处理的时候我们介绍了一个fillna()函数，来对空值添加默认值，这里我们来介绍一个replace函数用来实现数据的查找替换。这里我们演示将数学成绩95分替换成0分的操作。
会看到输出结果数据并没有得到替换，这是为什么呢？因为在进行数据处理的时候需要考虑到数据类型，由于这里我们的数学成绩是int64的类型，所以在进行操作替换的时候需将字符类型的数据设置成int类型，如下图所示。
总结
上面我们介绍了对于数据的基础处理，对于重复值处理、查找替换等操作。相比较与Excel操作来讲Python操作更加简单高效。下一篇分享给大家带来关于数据的预处理操作。
相关推荐
- 工程师必备!DeepSeek自动化运维全攻略
-
每天省出3小时，故障自修复+智能监控实战指南导语“总在深夜被报警短信吵醒？教你搭建智能运维体系，让DeepSeek自己管自己！”正文技能1：自动化故障诊断配置智能诊断规则：yaml复制alert_ru...
- Spug - 轻量级自动化运维平台（自动化运维平台 devops）
-
对于中小型企业而言，进行主机和应用的管理是比较麻烦的，应用部署往往需要直接连接服务器，再进行手动的环境配置、代码拉取、应用构建和部署发布等工作，容易出错，且耗时费力。一个好的自动化运维平台，往往能大大...
- 轻量级无 Agent 的一个好用的“小麻雀”自动化运维平台工具!-Spug
-
对于中小型企业而言，进行主机和应用的管理是比较麻烦的，应用部署往往需要直接连接服务器，再进行手动的环境配置、代码拉取、应用构建和部署发布等工作，容易出错，且耗时费力。一个好的自动化运维平台，往往能大大...
- 运维自动化之实用python代码汇总（python自动化运维常用模块）
-
本文总结了运维工作中经常用到的一些实用代码块，方便在需要的时候直接搬过来使用即可1.执行系统命令，获取返回结果fromsubprocessimportPopen,PIPE,STDOUTcp...
- 从代码小白到自动化大师:Python 编程实战
-
昨天我聊了一下关于线性代数、概率统计、微积分核心概念的学习，也花了一些时间恢复一下大学时候学这些的记忆，确实来说数学很有趣也很考验人，兴趣是最好的老师对吧，既然对AI感兴趣，总要认真的学一学，接下来我...
- 锐捷:基于Python TextFSM模块的网络设备自动化运维方法
-
网络设备自动化运维，首先要实现网络设备与自动化运维平台对接，即通过代码实现登录网络设备并获取信息。邮政业科技创新战略联盟单位锐捷自主研发的数据中心交换机产品已全面支持NETCONF协议，可适用于和SD...
- 基于Python+vue的自动化运维、完全开源的云管理平台
-
真正的大师,永远都怀着一颗学徒的心！一、项目简介今天说的这个软件是一款基于Python+vue的自动化运维、完全开源的云管理平台。二、实现功能基于RBAC权限系统录像回放DNS管理配置中心强大的作业调...
- 编程与数学:在Python里怎么用turtle库函数填色?
-
这里只给出一个示例，一个最简单的示例。看懂这个示例，你就能在自己的代码里需要填色的地方填色。首先，与前面发的Python绘画程序一样，先要装入turtle库。然后在代码中，下面需要填色时，先写一个填色...
- Python UV 环境下的 PyKDL 运动学库安装
-
视频讲解：PythonUV环境下的PyKDL运动学库安装_哔哩哔哩_bilibilimujoco-learning这个仓库，改成uv管理环境依赖后，原来的一些包有些缺失，比如之前安装的PyKD...
- python最新版3.11正式发布，有哪些新特色?(3/5)
-
异步任务的语法更完美python编程语言对异步编程的支持一直在改进，比如python2.0版开始就增加了生成器(generator)，在3.4版开始增加了asyncio库，随后在3.5版中...
- 清华北大都在用!Python王者归来(全彩版)
-
纸上得来终觉浅，绝知此事要躬行。今天给大家带来一份由清华大学出版的《python王者归来》。在当下全民互联网，大数据的时代，Python已然成为了学习大数据、人工智能时代的首选编程语言，Python...
- 第六章:Python模块与包（python模块与包与类的关系区别）
-
6.1模块基础6.1.1理论知识模块是一个包含Python定义和语句的文件，其扩展名为.py。模块可以将代码组织成逻辑单元，提高代码的可维护性和复用性。通过将相关的函数、类和变量放在同一个模块中...
- 语言教育项目实战之一:Ubuntu下安装Python环境
-
如下项目，运行在#ubuntu#上，使用#pytho#，从最初环境开始，逐渐深入。此项目以语言学习为主要目的，实现听写、跟读、对话的服务，面向中小学生、大学生、涉外交流人员等。计划通过pyenv管...
- openai-python v1.79.0重磅发布!全新Evals API升级，音频转录终极
-
2025年5月17日，OpenAI官方在GitHub上发布了openai-python库的最新版本——v1.79.0。本次版本重点围绕Evals评估API进行了多项功能完善，同时修复了音频转录接口的重...
- 你真的用对了吗?7个常被误用的Python内置函数及最佳实践
-
你是否曾经在使用多年的工具中突然发现一个新功能，然后感叹：“我怎么一直没发现这个？”没错，今天我们就来体验一把“Python函数版”的这种乐趣。这些函数很可能已经是你日常代码的一部分，但我敢打赌，你并...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 工程师必备!DeepSeek自动化运维全攻略
- Spug - 轻量级自动化运维平台（自动化运维平台 devops）
- 轻量级无 Agent 的一个好用的“小麻雀”自动化运维平台工具!-Spug
- 运维自动化之实用python代码汇总（python自动化运维常用模块）
- 从代码小白到自动化大师:Python 编程实战
- 锐捷:基于Python TextFSM模块的网络设备自动化运维方法
- 基于Python+vue的自动化运维、完全开源的云管理平台
- 编程与数学:在Python里怎么用turtle库函数填色?
- Python UV 环境下的 PyKDL 运动学库安装
- python最新版3.11正式发布，有哪些新特色?(3/5)
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)