百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python 数据清洗中不得不说的事!(用python清洗数据)

off999 2025-06-10 17:28 5 浏览 0 评论

在 Python 中无论爬虫也好,数据分析也好,首先需要数据清洗,Python中有许多库可以帮助我们轻松搞定!

正则表达式(Regular Expression)

正则表达式是一种强大的字符串匹配工具,可以帮助你从文本数据中提取特定的模式。在 Python 中,你可以使用 re 模块来使用正则表达式。以下是一个使用正则表达式提取邮件地址的示例:

import re
# 定义一个包含邮件地址的字符串
text = 'Contact us at john@example.com or support@example.com'

# 使用正则表达式匹配邮件地址
pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
matches = re.findall(pattern, text)

# 输出匹配的结果
print(matches)

在上面的代码中,我们首先定义一个包含邮件地址的字符串。然后,我们使用正则表达式来匹配字符串中的邮件地址。最后,我们使用 re.findall() 函数返回所有匹配的结果

BeautifulSoup

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的库,可以帮助你从网页中提取特定的数据。以下是一个使用 BeautifulSoup 提取网页标题的示例:

import requests
from bs4 import BeautifulSoup

# 发送 GET 请求获取网页内容
response = requests.get('https://www.python.org')

# 解析网页内容并提取标题
soup = BeautifulSoup(response.content, 'html.parser')
title = soup.title.string

# 输出网页标题
print(title)

在上面的代码中,我们首先使用 requests 库发送一个 GET 请求,然后使用 BeautifulSoup 解析网页内容并提取标题。最后,我们打印网页标题

Pandas

Pandas 是一个用于数据分析和处理的库,可以帮助你清洗和转换大量的数据。以下是一个使用 Pandas 读取 CSV 文件并对数据进行清洗的示例:

import pandas as pd

# 读取 CSV 文件并创建数据框
df = pd.read_csv('data.csv')

# 删除含有缺失值的行
df = df.dropna()

# 删除重复的行
df = df.drop_duplicates()

# 将数据写入新的 CSV 文件
df.to_csv('cleaned_data.csv', index=False)

在上面的代码中,我们首先使用 Pandas 读取 CSV 文件并创建一个数据框。然后,我们使用 dropna() 函数删除所有含有缺失值的行,使用 drop_duplicates() 函数删除所有重复的行。最后,我们将清洗后的数据写入一个新的 CSV 文件

JSON

JSON是一种常用的数据交换格式,Python内置的json模块可以用来解析和序列化JSON数据。以下是一个例子:

import json

json_str = '{"name": "Alice", "age": 30, "city": "New York"}'
data = json.loads(json_str)

# 获取名字和年龄
name = data['name']
age = data['age']

从数据库中提取数据

如果数据存储在关系型数据库中,可以使用Python内置的sqlite3模块进行连接和查询。以下是一个例子:

import sqlite3

# 连接数据库
conn = sqlite3.connect('example.db')

# 查询数据
c = conn.cursor()
c.execute('SELECT name, age, city FROM users')
rows = c.fetchall()

# 处理数据
for row in rows:
    name, age, city = row
    # 进行数据清洗等操作
    
# 关闭连接
conn.close()

其它例子正在搜集当中,需要更多Python学习资料可以私聊呢!

相关推荐

用 Pandera 高效验证和清洗 Pandas 数据集——实用分步指南

当我们处理数据时,确保数据不脏、不无效非常重要——比如检查空值、缺失值,或某列类型不允许的数字。这些检查至关重要,因为劣质数据会导致错误分析、模型失败,并浪费大量时间和资源。你可能已经用传统的Pan...

【项目实践】利用Pandas进行数据读取、清洗和分析的全方位指南

目录一、数据读取和写入1.1CSV和txt文件:1.2Excel文件:1.3MYSQL数据库:二、数据清洗2.1清除不需要的行数据2.2清除不需要的列2.3调整列的展示顺序或列标签名2.4...

不用VBA!用Excel自带Python秒杀数据清洗,效率怒涨10倍!

还在为Excel函数不够用发愁?其实微软早偷偷内置了Python引擎!无需安装插件,直接调用pandas/numpy处理百万级数据,职场人最后的救命神器!一、为什么Excel+Python是王炸组合?...

Python 数据清洗中不得不说的事!(用python清洗数据)

在Python中无论爬虫也好,数据分析也好,首先需要数据清洗,Python中有许多库可以帮助我们轻松搞定!正则表达式(RegularExpression)正则表达式是一种强大的字符串匹配工具,可...

数据分析——清洗数据(数据清洗思路)

数据分析中清洗数据是确保数据质量和可靠性的关键步骤,通常包括以下方法步骤:1.数据评估与理解目标:了解数据的基本情况,明确清洗方向。检查数据概况:查看字段名、数据类型、样本分布、缺失值比例等。统计描...

面对复杂数据,Pandas 如何助力数据清洗工作?

在数据分析和机器学习领域,数据清洗是至关重要的前置环节。高质量的数据是得出准确分析结论和构建有效模型的基石,而原始数据往往包含缺失值、重复值、异常值以及错误的数据格式等问题。Pandas作为Pyt...

Python 的 enumerate 函数:遍历中的索引神器

对话实录小白:(苦恼)我在遍历列表时,想知道每个元素的位置,只能用个计数器变量,好繁琐,有没有更简单的办法?专家:(掏出法宝)用enumerate函数,遍历同时获取索引,轻松解决你的困扰!enumer...

python zip函数可以实现同时遍历多列表,以及矩阵转置等

zip函数是Python的内置函数,用于将多个可迭代对象中对应位置的元素打包成元组,并返回一个由这些元组组成的迭代器。概念看不懂没关系,我们来举个简单例子。比如有两个列表x=["a"...

Python快速入门教程7:循环语句(python循环语句怎么用)

一、循环语句简介循环语句用于重复执行一段代码块,直到满足特定条件为止。Python支持两种主要的循环结构:for循环和while循环。二、for循环基本语法for循环用于遍历序列(如列表、元组、字符串...

使用Python 获取多级字典(Json)格式所有Key、Value

在编程数据处理时,经常能碰到多级包含多类型的字典,例如下图:客户要求取到所有根部key,value并写入DataFrame中,下面用我的方法来实现:#新建存放key,value的数组data=[...

Python列表创建操作与遍历指南(列表的创建python)

Python列表全方位解析:创建、操作、删除与遍历的全面指南列表(List)是Python中最灵活且常用的数据结构之一,支持动态增删元素、混合数据类型存储以及高效的遍历操作。以下从创建、操作、...

python入门到脱坑 结构语句—— 循环语句while 循环

以下是Python中while循环的详细入门讲解,包含基础语法、控制方法和实用技巧:一、while循环基础1.基本语法while条件:#条件为True时重复执行的代码#.....

全网最详尽的Python遍历的高级用法,程序员必收藏!

1.内置函数的高阶用法。numbers=[1,2,3,4]squared=list(map(lambdax:x**2,numbers))#[1,4,9,16]```-*...

在Python中遍历列表的方法有哪些(python遍历怎么写)

Python中遍历列表有以下几种方法:一、for循环遍历lists=["m1",1900,"m2",2000]foriteminlists:print(item)lists=...

99% 教程不会讲的技巧,Python 字典推导式终极指南,小白也能秒懂

字典推导式详解:从基础到进阶1.什么是字典推导式?字典推导式是Python中创建字典的一种高效语法,它允许你在一行代码内完成循环、条件判断和字典构建。为什么需要字典推导式?传统方法创建字典需要多...

取消回复欢迎 发表评论: