百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python实战分析:获取数据(python获取数据库中的数据)

off999 2024-10-26 12:08 14 浏览 0 评论

这是 利用Excel学习Python 系列的第8篇文章

想用一个完整的案例讲解Python数据分析的整个流程和基础知识,实际上以一个数据集为例,数据集是天池上的一个短租数据集。

先来想一下数据分析的流程,第一步获取数据,因此本节内容就是获取数据以及对数据的基本操作。

1.数据导入

1.1 导入.xlsx文件

要导入一个.xlsx后缀的Excel文件,可以使用pd.read_excel(路径)方法

Bash
# 导入.xlsx文件
df_review = pd.read_excel(r"D:\个人\data\reviews.xlsx")
df_review

结果:


df_review数据包含了两个字段,listing_id和date


读入数据时必不可少的参数就是路径,不同的操作系统下文件路径的写法也不同,通常windows操作系统下关于路径有两种写法:

  • 反斜杠“ \ ”:右键点击这个文件,选择属性,可以看到它所在的位置,默认是使用 \ 来表示,由于反斜杠“\”在Python中被定义为转义符号,因此在写的时候就要在路径的最前方加一个转义符 r,r"D:\个人\data\reviews.xlsx"
  • 斜杠“ / ”:不需要加r,全部用 / 来写:"D:/个人/data/reviews.xlsx"两种方式看个人习惯吧。

sheet_name 参数

对于.xlsx文件来说,可能会存在多个sheet表,因此也可以设置sheet_name参数指定导入的sheet表,可以传入sheet表的名字,也可以按照从0递增的顺序来指定,不指定sheet表则默认第一个sheet.

Bash
# 指定Sheet表
df_review = pd.read_excel(r"D:\个人\data\reviews.xlsx",sheet_name = 0) # 指定名字或顺序
df_review

1.2 导入.csv文件

导入.csv格式的文件使用pd.read_csv(路径)的方法

# 导入csv文件
df_list = pd.read_csv(r"D:\个人\data\listings.csv")
df_list

结果:

df_list数据主要包括:房东ID、房东姓名、经纬度、房间类型、价格、最小可租天数、评论数量、最后一次评论时间、每月评论占比、可出租房屋、每年可出租时长等字段

指定编码格式

对于.csv文件有个重要的知识点,就是编码格式,尤其是在导入文件的时候,需要了解文件的编码格式,以免出现乱码,那么如何知道文件是什么类型的编码呢?用notepad++软件打开,右下角会显示该文件的编码格式,如刚刚导入的listings.csv文件,是utf-8编码,在书写编码时,大小写通用,且utf-8也可以写成utf8.


可以用encoding参数来设置编码格式,Python默认的编码格式是utf-8。


中文乱码问题

对于文件路径中因为出现中文而导致的乱码问题,可以加入参数engine来避免。

# 避免出现乱码
df_list = pd.read_csv(r"D:\个人\data\listings.csv",engine = "python")
df_list

结果:

指定行索引

不指定行索引的话,从0开始递增的一列作为行索引,也可以指定id一列为行索引,传入参数index_col

# 指定行索引
df_list = pd.read_csv(r"D:\个人\data\listings.csv",index_col = "id")
df_list.head()

结果:可以看到,id列成了行索引列。

指定列索引

默认第一行是列索引,也可以指定,使用header参数,header = 0,表示指定第一行为列索引。

# 指定列索引
df_list = pd.read_csv(r"D:\个人\data\listings.csv",header = 0)
df_list.head()

结果:

指定导入列

有时候我们希望只导入指定的列即可,那么就传入usecols参数

# 指定导入1、4列
df_list = pd.read_csv(r"D:\个人\data\listings.csv",usecols = [0,3])
df_list.head()

结果:

2.对数据的基本操作

导入数据后,需要对数据进行一个大概的了解,比如数据集有几行几列,每个字段的数据类型是什么,有无空值等。

预览

不必完全跑出数据,只需看下前几行,用head方法,得到的是前5行数据

# 预览数据
df_list = pd.read_csv(r"D:\个人\data\listings.csv")
df_list.head()

结果:

head()里也可传入数字,如预览前10行数据

# 预览数据
df_list = pd.read_csv(r"D:\个人\data\listings.csv")
df_list.head(10)

查看数据维度

数据集有几行几列,用shape

# 查看数据集维度
df_list.shape

结果:可以看到df_list数据集有28452行,16列

查看数据类型

使用dtypes可以查看数据集所有字段的数据类型

# 数据类型
df_list.dtypes

结果:


也可以单独查看某一个字段的数据类型


# 单独查看某个字段的数据类型
df_list["host_id"].dtypes

结果:




@ 作者:可乐

@ 公众号/知乎专栏/头条/简书:可乐的数据分析之路

@ 加微信(data_cola)备注:进群,拉你进可乐的数据分析交流群,数据分析知识总结,不定期行业经验分享

相关推荐

用 Pandera 高效验证和清洗 Pandas 数据集——实用分步指南

当我们处理数据时,确保数据不脏、不无效非常重要——比如检查空值、缺失值,或某列类型不允许的数字。这些检查至关重要,因为劣质数据会导致错误分析、模型失败,并浪费大量时间和资源。你可能已经用传统的Pan...

【项目实践】利用Pandas进行数据读取、清洗和分析的全方位指南

目录一、数据读取和写入1.1CSV和txt文件:1.2Excel文件:1.3MYSQL数据库:二、数据清洗2.1清除不需要的行数据2.2清除不需要的列2.3调整列的展示顺序或列标签名2.4...

不用VBA!用Excel自带Python秒杀数据清洗,效率怒涨10倍!

还在为Excel函数不够用发愁?其实微软早偷偷内置了Python引擎!无需安装插件,直接调用pandas/numpy处理百万级数据,职场人最后的救命神器!一、为什么Excel+Python是王炸组合?...

Python 数据清洗中不得不说的事!(用python清洗数据)

在Python中无论爬虫也好,数据分析也好,首先需要数据清洗,Python中有许多库可以帮助我们轻松搞定!正则表达式(RegularExpression)正则表达式是一种强大的字符串匹配工具,可...

数据分析——清洗数据(数据清洗思路)

数据分析中清洗数据是确保数据质量和可靠性的关键步骤,通常包括以下方法步骤:1.数据评估与理解目标:了解数据的基本情况,明确清洗方向。检查数据概况:查看字段名、数据类型、样本分布、缺失值比例等。统计描...

面对复杂数据,Pandas 如何助力数据清洗工作?

在数据分析和机器学习领域,数据清洗是至关重要的前置环节。高质量的数据是得出准确分析结论和构建有效模型的基石,而原始数据往往包含缺失值、重复值、异常值以及错误的数据格式等问题。Pandas作为Pyt...

Python 的 enumerate 函数:遍历中的索引神器

对话实录小白:(苦恼)我在遍历列表时,想知道每个元素的位置,只能用个计数器变量,好繁琐,有没有更简单的办法?专家:(掏出法宝)用enumerate函数,遍历同时获取索引,轻松解决你的困扰!enumer...

python zip函数可以实现同时遍历多列表,以及矩阵转置等

zip函数是Python的内置函数,用于将多个可迭代对象中对应位置的元素打包成元组,并返回一个由这些元组组成的迭代器。概念看不懂没关系,我们来举个简单例子。比如有两个列表x=["a"...

Python快速入门教程7:循环语句(python循环语句怎么用)

一、循环语句简介循环语句用于重复执行一段代码块,直到满足特定条件为止。Python支持两种主要的循环结构:for循环和while循环。二、for循环基本语法for循环用于遍历序列(如列表、元组、字符串...

使用Python 获取多级字典(Json)格式所有Key、Value

在编程数据处理时,经常能碰到多级包含多类型的字典,例如下图:客户要求取到所有根部key,value并写入DataFrame中,下面用我的方法来实现:#新建存放key,value的数组data=[...

Python列表创建操作与遍历指南(列表的创建python)

Python列表全方位解析:创建、操作、删除与遍历的全面指南列表(List)是Python中最灵活且常用的数据结构之一,支持动态增删元素、混合数据类型存储以及高效的遍历操作。以下从创建、操作、...

python入门到脱坑 结构语句—— 循环语句while 循环

以下是Python中while循环的详细入门讲解,包含基础语法、控制方法和实用技巧:一、while循环基础1.基本语法while条件:#条件为True时重复执行的代码#.....

全网最详尽的Python遍历的高级用法,程序员必收藏!

1.内置函数的高阶用法。numbers=[1,2,3,4]squared=list(map(lambdax:x**2,numbers))#[1,4,9,16]```-*...

在Python中遍历列表的方法有哪些(python遍历怎么写)

Python中遍历列表有以下几种方法:一、for循环遍历lists=["m1",1900,"m2",2000]foriteminlists:print(item)lists=...

99% 教程不会讲的技巧,Python 字典推导式终极指南,小白也能秒懂

字典推导式详解:从基础到进阶1.什么是字典推导式?字典推导式是Python中创建字典的一种高效语法,它允许你在一行代码内完成循环、条件判断和字典构建。为什么需要字典推导式?传统方法创建字典需要多...

取消回复欢迎 发表评论: