百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

带你玩转数据分析-如何使用Python进行数据清洗?

off999 2024-09-16 00:48 31 浏览 0 评论

在上篇分享中，我们介绍了如何导入输入，如何对数据进行查看。这篇分享主要为大家介绍关于如何使用Python对Excel表格中的数据进行清洗。包括对于空值数据、大小写问题、数据格式、重复值等问题处理。

如何对空数据进行处理？

用于演示的数据如下图所示。

会看到，在语文科目下存在空值内容，那么我们先来看看获取到的数据情况。如下图所示，通过打印df的效果。看到空值是使用了NaN进行了填充判断。

在Excel中通过查找替换的方式可以实现对空值数据的处理，那么在Python中如何对数据进行处理呢？

对空数据进行删除操作

在Python中可以通过dropna函数来删除数据表中包含空值的字段内容。如下图所示。

从输出结果来看，确实在数据中包含了空值的行被删除了，打印出来的内容都是存在数据值的内容字段。

对空数据进行填充

除了对数据进行删除之外，还可以通过fillna函数操作来对空值进行填充。如下图所示

在上面代码中，我们通过df.fillna(1)操作对数据为空的字段进行了默认填充1的操作。输出结果图所示。

空格清理操作

除了空值的操作，字符中的空格也是在数据清洗中需要处理的问题，可以通过如下的操作来进行空格的处理，下面这个操作是用来处理姓名字段中的空格。

df['姓名'].map(str.strip)

大小写的转换

在Python中通过 upper()、lower()函数来进行大小写的转换。如下图所示，可以看到在地址数据中出现了很多拼音数据，并且都是以小写的内容来展示。

我们可以通过upper()函数将其转换成大写。如下图所示，当然我们也可以通过lower()函数将大写转换成小写。

修改数据格式

在Excel表格中，我们可以通过设置单元格格式来修改数据的格式，在Python中，可以通过astype函数来完成对于单元格数据格式的修改。

这里先来修改一下数学成绩。

从图中可以看到，在没有进行修改之前，数学成绩的值是int64的，而经过修改之后数学成绩值为int32了。

删除重复数据值

可以看到，在数学成绩中，存在多个95分的数据，在Excel操作中可以通过删除重复数据的操作来实现，并且默认保留的实最先出现的数据，删除掉的是后续出现的数据。

在Python中可以通过drop_duplicates()函数来删除重复数据。

可以看到，drop_duplicates函数确实删除了重复数据，并且其规则也是与Excel的删除操作一样，保留了第一次出现的数据，删除后续出现的重复数据。

当然，我们可以通过 设置keep=last参数来设置保留规则，设置之后结果与默认情况正好相反。

数据的修改与替换

在上面空值数据处理的时候我们介绍了一个fillna()函数，来对空值添加默认值，这里我们来介绍一个replace函数用来实现数据的查找替换。这里我们演示将数学成绩95分替换成0分的操作。

会看到输出结果数据并没有得到替换，这是为什么呢？因为在进行数据处理的时候需要考虑到数据类型，由于这里我们的数学成绩是int64的类型，所以在进行操作替换的时候需将字符类型的数据设置成int类型，如下图所示。

总结

上面我们介绍了对于数据的基础处理，对于重复值处理、查找替换等操作。相比较与Excel操作来讲Python操作更加简单高效。下一篇分享给大家带来关于数据的预处理操作。

相关推荐

阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?

TG：@yunlaoda360引言：速度即体验，速度即业务在当今数字化的世界中，网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒，都可能导致用户流失和收入损失。对...

高流量大并发Linux TCP性能调优_linux 高并发网络编程

其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p（哎……想想那么多流量好像不跑点p2p也跑不完），所以造成有的时候如果有比较多人跑BT的话，会造成VPN速度急剧下降。本文所面对的情况为...

性能测试100集(12)性能指标资源使用率

在性能测试中，资源使用率是评估系统硬件效率的关键指标，主要包括以下四类：#性能测试##性能压测策略##软件测试#1.CPU使用率定义：CPU处理任务的时间占比，计算公式为1-空闲时间/总...

Linux 服务器常见的性能调优_linux高性能服务端编程

一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时，总想着直接改配置，其实第一步该是“看清楚问题”。就像医生看病要先听诊，调优前得先知道服务器“哪里...

Nginx性能优化实战:手把手教你提升10倍性能!

关注△mikechen△，十余年BAT架构经验倾囊相授！Nginx是大型架构而核心，下面我重点详解Nginx性能@mikechen文章来源：mikechen.cc1.worker_processe...

高并发场景下，Spring Cloud Gateway如何抗住百万QPS?

关注△mikechen△，十余年BAT架构经验倾囊相授！大家好，我是mikechen。高并发场景下网关作为流量的入口非常重要，下面我重点详解SpringCloudGateway如何抗住百万性能@m...

Kubernetes 高并发处理实战(可落地案例 + 源码)

目标场景：对外提供HTTPAPI的微服务在短时间内收到大量请求（例如每秒数千至数万RPS），要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路（多层防护）：边缘层：云LB...

高并发场景下，Nginx如何扛住千万级请求?

Nginx是大型架构的必备中间件，下面我重点详解Nginx如何实现高并发@mikechen文章来源：mikechen.cc事件驱动模型Nginx采用事件驱动模型，这是Nginx高并发性能的基石。传统...

Spring Boot+Vue全栈开发实战，中文版高清PDF资源

SpringBoot+Vue全栈开发实战，中文高清PDF资源，需要的可以私我：）SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能，而Vue则采用数据驱动视图的方式将程序...

Docker-基础操作_docker基础实战教程二

一、镜像1、从仓库获取镜像搜索镜像：dockersearchimage_name搜索结果过滤：是否官方:dockersearch--filter="is-offical=true...

你有空吗?跟我一起搭个服务器好不好?

来人人都是产品经理【起点学院】，BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候，随手翻了翻写过的文章，发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论，却很少有涉及动手...

部署你自己的 SaaS_saas如何部署

部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。（DigitalOcean教程）dockovpn.io—无状态OpenVPNdockerized服务器，不需要持久存储。...

Docker Compose_dockercompose安装

DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具，通过一个docker-compose.yml文件，用YAML格式描述服务、网络、卷等内容，...

京东T7架构师推出的电子版SpringBoot，从构建小系统到架构大系统

前言：Java的各种开发框架发展了很多年，影响了一代又一代的程序员，现在无论是程序员，还是架构师，使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统，这就要求使用的开发框架尽量简单，无论...

Kubernetes (k8s) 入门学习指南_k8s kubeproxy

Kubernetes(k8s)入门学习指南一、什么是Kubernetes？为什么需要它？Kubernetes(k8s)是一个开源的容器编排系统，用于自动化部署、扩展和管理容器化应用程序。它...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.