带你玩转数据分析-如何使用Python进行数据清洗?
off999 2024-09-16 00:48 21 浏览 0 评论
在上篇分享中，我们介绍了如何导入输入，如何对数据进行查看。这篇分享主要为大家介绍关于如何使用Python对Excel表格中的数据进行清洗。包括对于空值数据、大小写问题、数据格式、重复值等问题处理。
如何对空数据进行处理？
用于演示的数据如下图所示。
会看到，在语文科目下存在空值内容，那么我们先来看看获取到的数据情况。如下图所示，通过打印df的效果。看到空值是使用了NaN进行了填充判断。
在Excel中通过查找替换的方式可以实现对空值数据的处理，那么在Python中如何对数据进行处理呢？
对空数据进行删除操作
在Python中可以通过dropna函数来删除数据表中包含空值的字段内容。如下图所示。
从输出结果来看，确实在数据中包含了空值的行被删除了，打印出来的内容都是存在数据值的内容字段。
对空数据进行填充
除了对数据进行删除之外，还可以通过fillna函数操作来对空值进行填充。如下图所示
在上面代码中，我们通过df.fillna(1)操作对数据为空的字段进行了默认填充1的操作。输出结果图所示。
空格清理操作
除了空值的操作，字符中的空格也是在数据清洗中需要处理的问题，可以通过如下的操作来进行空格的处理，下面这个操作是用来处理姓名字段中的空格。
df['姓名'].map(str.strip)大小写的转换
在Python中通过 upper()、lower()函数来进行大小写的转换。如下图所示，可以看到在地址数据中出现了很多拼音数据，并且都是以小写的内容来展示。
我们可以通过upper()函数将其转换成大写。如下图所示，当然我们也可以通过lower()函数将大写转换成小写。
修改数据格式
在Excel表格中，我们可以通过设置单元格格式来修改数据的格式，在Python中，可以通过astype函数来完成对于单元格数据格式的修改。
这里先来修改一下数学成绩。
从图中可以看到，在没有进行修改之前，数学成绩的值是int64的，而经过修改之后数学成绩值为int32了。
删除重复数据值
可以看到，在数学成绩中，存在多个95分的数据，在Excel操作中可以通过删除重复数据的操作来实现，并且默认保留的实最先出现的数据，删除掉的是后续出现的数据。
在Python中可以通过drop_duplicates()函数来删除重复数据。
可以看到，drop_duplicates函数确实删除了重复数据，并且其规则也是与Excel的删除操作一样，保留了第一次出现的数据，删除后续出现的重复数据。
当然，我们可以通过 设置keep=last参数来设置保留规则，设置之后结果与默认情况正好相反。
数据的修改与替换
在上面空值数据处理的时候我们介绍了一个fillna()函数，来对空值添加默认值，这里我们来介绍一个replace函数用来实现数据的查找替换。这里我们演示将数学成绩95分替换成0分的操作。
会看到输出结果数据并没有得到替换，这是为什么呢？因为在进行数据处理的时候需要考虑到数据类型，由于这里我们的数学成绩是int64的类型，所以在进行操作替换的时候需将字符类型的数据设置成int类型，如下图所示。
总结
上面我们介绍了对于数据的基础处理，对于重复值处理、查找替换等操作。相比较与Excel操作来讲Python操作更加简单高效。下一篇分享给大家带来关于数据的预处理操作。
相关推荐
- Python Flask 容器化应用链路可观测
-
简介Flask是一个基于Python的轻量级Web应用框架，因其简洁灵活而被称为“微框架”。它提供了Web开发所需的核心功能，如请求处理、路由管理等，但不会强制开发者使用特定的工具或库。...
- Python GUI应用开发快速入门（python开发软件教程）
-
一、GUI开发基础1.主流GUI框架对比表1PythonGUI框架比较框架特点适用场景学习曲线Tkinter内置库，简单小型应用，快速原型平缓PyQt功能强大，商用许可专业级桌面应用陡峭PySi...
- 实战揭秘:Python Toga 打造跨平台 GUI 应用的神奇之旅
-
在Python的世界里，GUI（图形用户界面）开发工具众多，但要找到一款真正跨平台、易于使用且功能强大的工具并不容易。今天，我们就来深入探讨一下Toga——一款Python原生、操作系统原...
- python应用目录规划（python的目录）
-
Python大型应用目录结构规划（企业级最佳实践）核心原则模块化：按业务功能拆分，高内聚低耦合可扩展性：支持插件机制和动态加载环境隔离：清晰区分开发/测试/生产环境自动化：内置标准化的构建测试部署流...
- Python图形化应用开发框架:PyQt开发简介
-
PyQt概述定义：PyQt是Python绑定Qt框架的工具集，用于开发跨平台GUI应用程序原理：通过Qt的C++库提供底层功能，PyQt使用SIP工具生成Python绑定特点：支持Windows/ma...
- [python] 基于PyOD库实现数据异常检测
-
PyOD是一个全面且易于使用的Python库，专门用于检测多变量数据中的异常点或离群点。异常点是指那些与大多数数据点显著不同的数据，它们可能表示错误、噪声或潜在的有趣现象。无论是处理小规模项目还是大型...
- Python、Selenium 和 Allure 进行 UI 自动化测试的简单示例脚本
-
环境准备确保你已经安装了以下库：SeleniumAllurepytest你可以使用以下命令安装所需库：pipinstallseleniumallure-pytestpytest示例代码下面的代...
- LabVIEW 与 Python 融合:打造强大测试系统的利器
-
在现代测试系统开发领域，LabVIEW和Python各自凭借独特优势占据重要地位。LabVIEW以图形化编程、仪器控制和实时系统开发能力见长；Python则凭借丰富的库资源、简洁语法和强大数...
- 软件测试进阶之自动化测试——python+appium实例
-
扼要：1、了解python+appium进行APP的自动化测试实例；2、能根据实例进行实训操作；本课程主要讲述用python+appium对APP进行UI自动化测试的例子。appium支持Androi...
- Python openpyxl:读写样式Excel一条龙，测试报表必备!
-
无论你是测试工程师、数据分析师，还是想批量导出Excel的自动化工作者，只需一个库openpyxl，即可高效搞定Excel的各种需求！为什么选择openpyxl？支持.xlsx格式...
- Python + Pytest 测试框架——数据驱动
-
引言前面已经和大家介绍过Unittest测试框架的数据驱动框架DDT，以及其实现原理。今天和大家分享的是Pytest测试框架的数据驱动，Pytest测试框架的数据驱动是由pytest自...
- 这款开源测试神器，圆了我玩游戏不用动手的梦想
-
作者：HelloGitHub-Anthony一天我在公司用手机看游戏直播，同事问我在玩什么游戏？我和他说在看直播，他恍然大悟：原来如此，我还纳闷你玩游戏，咋不用动手呢。。。。一语惊醒梦中人：玩游戏不用...
- Python单元测试框架对比（pycharm 单元测试）
-
一、核心框架对比特性unittest(标准库)pytest(主流第三方)nose2(unittest扩展)doctest(文档测试)安装Python标准库pipinstallpytestp...
- 利用机器学习，进行人体33个2D姿态检测与评估
-
前几期的文章，我们分享了人脸468点检测与人手28点检测的代码实现过程，本期我们进行人体姿态的检测与评估通过视频进行人体姿势估计在各种应用中起着至关重要的作用，例如量化体育锻炼，手语识别和全身手势控制...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Python Flask 容器化应用链路可观测
- Python GUI应用开发快速入门（python开发软件教程）
- 【MCP实战】Python构建MCP应用全攻略:从入门到实战!
- 实战揭秘:Python Toga 打造跨平台 GUI 应用的神奇之旅
- python应用目录规划（python的目录）
- Python图形化应用开发框架:PyQt开发简介
- [python] 基于PyOD库实现数据异常检测
- Python、Selenium 和 Allure 进行 UI 自动化测试的简单示例脚本
- LabVIEW 与 Python 融合:打造强大测试系统的利器
- 软件测试进阶之自动化测试——python+appium实例
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)