Python实战分析:获取数据(python获取数据库中的数据)
off999 2024-10-26 12:08 14 浏览 0 评论
这是 利用Excel学习Python 系列的第8篇文章
想用一个完整的案例讲解Python数据分析的整个流程和基础知识,实际上以一个数据集为例,数据集是天池上的一个短租数据集。
先来想一下数据分析的流程,第一步获取数据,因此本节内容就是获取数据以及对数据的基本操作。
1.数据导入
1.1 导入.xlsx文件
要导入一个.xlsx后缀的Excel文件,可以使用pd.read_excel(路径)方法
# 导入.xlsx文件
df_review = pd.read_excel(r"D:\个人\data\reviews.xlsx")
df_review
结果:
df_review数据包含了两个字段,listing_id和date
读入数据时必不可少的参数就是路径,不同的操作系统下文件路径的写法也不同,通常windows操作系统下关于路径有两种写法:
- 反斜杠“ \ ”:右键点击这个文件,选择属性,可以看到它所在的位置,默认是使用 \ 来表示,由于反斜杠“\”在Python中被定义为转义符号,因此在写的时候就要在路径的最前方加一个转义符 r,r"D:\个人\data\reviews.xlsx"
- 斜杠“ / ”:不需要加r,全部用 / 来写:"D:/个人/data/reviews.xlsx"两种方式看个人习惯吧。
sheet_name 参数
对于.xlsx文件来说,可能会存在多个sheet表,因此也可以设置sheet_name参数指定导入的sheet表,可以传入sheet表的名字,也可以按照从0递增的顺序来指定,不指定sheet表则默认第一个sheet.
# 指定Sheet表
df_review = pd.read_excel(r"D:\个人\data\reviews.xlsx",sheet_name = 0) # 指定名字或顺序
df_review
1.2 导入.csv文件
导入.csv格式的文件使用pd.read_csv(路径)的方法
# 导入csv文件
df_list = pd.read_csv(r"D:\个人\data\listings.csv")
df_list
结果:
df_list数据主要包括:房东ID、房东姓名、经纬度、房间类型、价格、最小可租天数、评论数量、最后一次评论时间、每月评论占比、可出租房屋、每年可出租时长等字段
指定编码格式
对于.csv文件有个重要的知识点,就是编码格式,尤其是在导入文件的时候,需要了解文件的编码格式,以免出现乱码,那么如何知道文件是什么类型的编码呢?用notepad++软件打开,右下角会显示该文件的编码格式,如刚刚导入的listings.csv文件,是utf-8编码,在书写编码时,大小写通用,且utf-8也可以写成utf8.
可以用encoding参数来设置编码格式,Python默认的编码格式是utf-8。
中文乱码问题
对于文件路径中因为出现中文而导致的乱码问题,可以加入参数engine来避免。
# 避免出现乱码
df_list = pd.read_csv(r"D:\个人\data\listings.csv",engine = "python")
df_list
结果:
指定行索引
不指定行索引的话,从0开始递增的一列作为行索引,也可以指定id一列为行索引,传入参数index_col
# 指定行索引
df_list = pd.read_csv(r"D:\个人\data\listings.csv",index_col = "id")
df_list.head()
结果:可以看到,id列成了行索引列。
指定列索引
默认第一行是列索引,也可以指定,使用header参数,header = 0,表示指定第一行为列索引。
# 指定列索引
df_list = pd.read_csv(r"D:\个人\data\listings.csv",header = 0)
df_list.head()
结果:
指定导入列
有时候我们希望只导入指定的列即可,那么就传入usecols参数
# 指定导入1、4列
df_list = pd.read_csv(r"D:\个人\data\listings.csv",usecols = [0,3])
df_list.head()
结果:
2.对数据的基本操作
导入数据后,需要对数据进行一个大概的了解,比如数据集有几行几列,每个字段的数据类型是什么,有无空值等。
预览
不必完全跑出数据,只需看下前几行,用head方法,得到的是前5行数据
# 预览数据
df_list = pd.read_csv(r"D:\个人\data\listings.csv")
df_list.head()
结果:
head()里也可传入数字,如预览前10行数据
# 预览数据
df_list = pd.read_csv(r"D:\个人\data\listings.csv")
df_list.head(10)
查看数据维度
数据集有几行几列,用shape
# 查看数据集维度
df_list.shape
结果:可以看到df_list数据集有28452行,16列
查看数据类型
使用dtypes可以查看数据集所有字段的数据类型
# 数据类型
df_list.dtypes
结果:
也可以单独查看某一个字段的数据类型
# 单独查看某个字段的数据类型
df_list["host_id"].dtypes
结果:
@ 作者:可乐
@ 公众号/知乎专栏/头条/简书:可乐的数据分析之路
@ 加微信(data_cola)备注:进群,拉你进可乐的数据分析交流群,数据分析知识总结,不定期行业经验分享
相关推荐
- 用 Pandera 高效验证和清洗 Pandas 数据集——实用分步指南
-
当我们处理数据时,确保数据不脏、不无效非常重要——比如检查空值、缺失值,或某列类型不允许的数字。这些检查至关重要,因为劣质数据会导致错误分析、模型失败,并浪费大量时间和资源。你可能已经用传统的Pan...
- 【项目实践】利用Pandas进行数据读取、清洗和分析的全方位指南
-
目录一、数据读取和写入1.1CSV和txt文件:1.2Excel文件:1.3MYSQL数据库:二、数据清洗2.1清除不需要的行数据2.2清除不需要的列2.3调整列的展示顺序或列标签名2.4...
- 不用VBA!用Excel自带Python秒杀数据清洗,效率怒涨10倍!
-
还在为Excel函数不够用发愁?其实微软早偷偷内置了Python引擎!无需安装插件,直接调用pandas/numpy处理百万级数据,职场人最后的救命神器!一、为什么Excel+Python是王炸组合?...
- Python 数据清洗中不得不说的事!(用python清洗数据)
-
在Python中无论爬虫也好,数据分析也好,首先需要数据清洗,Python中有许多库可以帮助我们轻松搞定!正则表达式(RegularExpression)正则表达式是一种强大的字符串匹配工具,可...
- 数据分析——清洗数据(数据清洗思路)
-
数据分析中清洗数据是确保数据质量和可靠性的关键步骤,通常包括以下方法步骤:1.数据评估与理解目标:了解数据的基本情况,明确清洗方向。检查数据概况:查看字段名、数据类型、样本分布、缺失值比例等。统计描...
- 面对复杂数据,Pandas 如何助力数据清洗工作?
-
在数据分析和机器学习领域,数据清洗是至关重要的前置环节。高质量的数据是得出准确分析结论和构建有效模型的基石,而原始数据往往包含缺失值、重复值、异常值以及错误的数据格式等问题。Pandas作为Pyt...
- Python 的 enumerate 函数:遍历中的索引神器
-
对话实录小白:(苦恼)我在遍历列表时,想知道每个元素的位置,只能用个计数器变量,好繁琐,有没有更简单的办法?专家:(掏出法宝)用enumerate函数,遍历同时获取索引,轻松解决你的困扰!enumer...
- python zip函数可以实现同时遍历多列表,以及矩阵转置等
-
zip函数是Python的内置函数,用于将多个可迭代对象中对应位置的元素打包成元组,并返回一个由这些元组组成的迭代器。概念看不懂没关系,我们来举个简单例子。比如有两个列表x=["a"...
- Python快速入门教程7:循环语句(python循环语句怎么用)
-
一、循环语句简介循环语句用于重复执行一段代码块,直到满足特定条件为止。Python支持两种主要的循环结构:for循环和while循环。二、for循环基本语法for循环用于遍历序列(如列表、元组、字符串...
- 使用Python 获取多级字典(Json)格式所有Key、Value
-
在编程数据处理时,经常能碰到多级包含多类型的字典,例如下图:客户要求取到所有根部key,value并写入DataFrame中,下面用我的方法来实现:#新建存放key,value的数组data=[...
- Python列表创建操作与遍历指南(列表的创建python)
-
Python列表全方位解析:创建、操作、删除与遍历的全面指南列表(List)是Python中最灵活且常用的数据结构之一,支持动态增删元素、混合数据类型存储以及高效的遍历操作。以下从创建、操作、...
- python入门到脱坑 结构语句—— 循环语句while 循环
-
以下是Python中while循环的详细入门讲解,包含基础语法、控制方法和实用技巧:一、while循环基础1.基本语法while条件:#条件为True时重复执行的代码#.....
- 全网最详尽的Python遍历的高级用法,程序员必收藏!
-
1.内置函数的高阶用法。numbers=[1,2,3,4]squared=list(map(lambdax:x**2,numbers))#[1,4,9,16]```-*...
- 在Python中遍历列表的方法有哪些(python遍历怎么写)
-
Python中遍历列表有以下几种方法:一、for循环遍历lists=["m1",1900,"m2",2000]foriteminlists:print(item)lists=...
- 99% 教程不会讲的技巧,Python 字典推导式终极指南,小白也能秒懂
-
字典推导式详解:从基础到进阶1.什么是字典推导式?字典推导式是Python中创建字典的一种高效语法,它允许你在一行代码内完成循环、条件判断和字典构建。为什么需要字典推导式?传统方法创建字典需要多...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 用 Pandera 高效验证和清洗 Pandas 数据集——实用分步指南
- 【项目实践】利用Pandas进行数据读取、清洗和分析的全方位指南
- 不用VBA!用Excel自带Python秒杀数据清洗,效率怒涨10倍!
- Python 数据清洗中不得不说的事!(用python清洗数据)
- 数据分析——清洗数据(数据清洗思路)
- 面对复杂数据,Pandas 如何助力数据清洗工作?
- Python 的 enumerate 函数:遍历中的索引神器
- python zip函数可以实现同时遍历多列表,以及矩阵转置等
- Python快速入门教程7:循环语句(python循环语句怎么用)
- 使用Python 获取多级字典(Json)格式所有Key、Value
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (56)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)