教你使用Python玩转MySQL数据库,大数据导入不再是难题!
off999 2024-10-12 06:14 59 浏览 0 评论
数据分析离不开数据库,如何使用python连接MySQL数据库,并进行增删改查操作呢?
我们还会遇到需要将大批量数据导入数据库的情况,又该如何使用Python进行大数据的高效导入呢?
本文会一一讲解,并配合代码和实例。
一、背景
我是在Anaconda notebook中进行连接实验的,环境Python3.6,当然也可以在Python Shell里面进行操作。
最常用也最稳定的用于连接MySQL数据库的python库是PyMySQL。
所以本文讨论的是利用PyMySQL连接MySQL数据库,进行增删改查操作,以及存储大批量数据。
方法参考PyMySQL官方文档和《python数据采集》关于数据存储的部分。
欢迎大家去阅读原文档,相信会理解的更加透彻。
二、基本操作
1、安装PyMySQL库
最简单的方式: 在命令行输入 pip install pymysql
或者: 下载whl文件[1]进行安装,安装过程自行百度。
2、安装MySQL数据库
类MySQL数据库有两种:MySQL和MariaDB,我用的是后者MariaDB。
两者在绝大部分性能上是兼容的,使用起来感觉不到啥区别。
给出下载地址:MySQL[2],MariaDB[3],安装过程很简单,一路Next Step,不过要记好密码。
有个小插曲,MySQL和MariaDB相当于姐姐妹妹的关系,两者由同一个人(Widenius)创建的。MySQL被Oracle收购后,Widenius先生觉得不爽,于是搞了个MariaDB,可以完全替代MySQL。大牛就是任性。
3、SQL基本语法
下面要用SQL的表创建、查询、数据插入等功能,这里简要介绍一下SQL语言的基本语句。
- 查看数据库:SHOW DATABASES;
- 创建数据库:CREATE DATEBASE 数据库名称;
- 使用数据库:USE 数据库名称;
- 查看数据表:SHOW TABLES;
- 创建数据表:CREATE TABLE 表名称(列名1 (数据类型1),列名2 (数据类型2));
- 插入数据:INSERT INTO 表名称(列名1,列名2) VALUES(数据1,数据2);
- 查看数据:SELECT * FROM 表名称;
- 更新数据:UPDATE 表名称 SET 列名1=新数据1,列名2=新数据2 WHERE 某列=某数据;
4、连接数据库
安装好必要得文件和库后,接下来正式开始连接数据库吧,虽然神秘却不难哦!
#首先导入PyMySQL库
import pymysql
#连接数据库,创建连接对象connection
#连接对象作用是:连接数据库、发送数据库信息、处理回滚操作(查询中断时,数据库回到最初状态)、创建新的光标对象
connection = pymysql.connect(host = 'localhost' #host属性
user = 'root' #用户名
password = '******' #此处填登录数据库的密码
db = 'mysql' #数据库名
)执行这段代码就连接好了!
5、增删改查操作
首先来查看一下有哪些数据库:
#创建光标对象,一个连接可以有很多光标,一个光标跟踪一种数据状态。
#光标对象作用是:、创建、删除、写入、查询等等
cur = connection.cursor()
#查看有哪些数据库,通过cur.fetchall()获取查询所有结果
print(cur.fetchall())打印出所有数据库:
(('information_schema',),
('law',),
('mysql',),
('performance_schema',),
('test',))
在test数据库里创建表:
#使用数据库test
cur.execute('USE test')
#在test数据库里创建表student,有name列和age列
cur.execute('CREATE TABLE student(name VARCHAR(20),age TINYINT(3))')向数据表student中插入一条数据:
sql = 'INSERT INTO student (name,age) VALUES (%s,%s)'
cur.execute(sql,('XiaoMing',23))查看数据表student内容:
cur.execute('SELECT * FROM student')
print(cur.fetchone())打印输出为:('XiaoMing', 23)
Bingo!是我们刚刚插入的一条数据
最后,要记得关闭光标和连接:
#关闭连接对象,否则会导致连接泄漏,消耗数据库资源
connection.close()
#关闭光标
cur.close()OK了,整个流程大致如此。
当然这里都是很基础的操作,更多的使用方法需要在PyMySQL官方文档[4]里去寻找。
三、导入大数据文件
以csv文件为例,csv文件导入数据库一般有两种方法:
1、通过SQL的insert方法一条一条导入,适合数据量小的CSV文件,这里不做赘述。
2、通过load data方法导入,速度快,适合大数据文件,也是本文的重点。
样本CSV文件如下:
总体工作分为3步:
1、用python连接mysql数据库;
2、基于CSV文件表格字段创建表;
3、使用load data方法导入CSV文件内容。
sql的load data语法简介:
LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINEScsv_file_path 指文件绝对路径 table_name指表名称 FIELDS TERMINATED BY ','指以逗号分隔 LINES TERMINATED BY '\\r\\n'指换行 IGNORE 1 LINES指跳过第一行,因为第一行是表的字段名
下面给出全部代码:
#导入pymysql方法
import pymysql
#连接数据库
config = {'host':'',
'port':3306,
'user':'username',
'passwd':'password',
'charset':'utf8mb4',
'local_infile':1
}
conn = pymysql.connect(**config)
cur = conn.cursor()
#load_csv函数,参数分别为csv文件路径,表名称,数据库名称
def load_csv(csv_file_path,table_name,database='evdata'):
#打开csv文件
file = open(csv_file_path, 'r',encoding='utf-8')
#读取csv文件第一行字段名,创建表
reader = file.readline()
b = reader.split(',')
colum = ''
for a in b:
colum = colum + a + ' varchar(255),'
colum = colum[:-1]
#编写sql,create_sql负责创建表,data_sql负责导入数据
create_sql = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8'
data_sql = "LOAD DATA LOCAL INFILE '%s' INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" % (csv_filename,table_name)
#使用数据库
cur.execute('use %s' % database)
#设置编码格式
cur.execute('SET NAMES utf8;')
cur.execute('SET character_set_connection=utf8;')
#执行create_sql,创建表
cur.execute(create_sql)
#执行data_sql,导入数据
cur.execute(data_sql)
conn.commit()
#关闭连接
conn.close()
cur.close()相关推荐
- 应用程序发生异常0xe0000008
-
先查看一下对应的软件是不是出现了损坏,也可以重装此软件。我们还可以尝试通过修改注册表来解决。按Win+R(或者在开始菜单搜索框输入“运行”)打开运行,然后输入“regedit”回车,打开注册表恢复原来...
- 笔记本连接wifi显示无法连接网络
-
笔记本电脑连接wifi时提示无法连接到这个网络1、打开电脑“控制面板”,点击“网络连接”,选择本地连接,右键点击本地连接图标后选“属性”,在“常规”选项卡中双击“Internet协议(TCP/IP)...
- windowsc盘清理大师(c盘清理大师怎么样)
-
C盘清理大师是一款流氓软件,可不是windows10里自带。在你的电脑上出现这个软件一般情况下可以证明你使用的系统是盗版的,系统采用的是网上流传的系统镜像制作的。在网上流传这些系统镜像文件...
- realtek没声音如何设置(realtek怎么调出来)
-
你给无线连接配IP地址呗第一步:下载驱动精灵软件。第二步:安装驱动精灵软件。1、在打开的驱动软件安装窗口,确定程序安装路径后,点击:一键安装;2、正在安装。第三步:更新驱动程序。1、安装非常迅速,已经...
- 腾达路由器手机端登录入口(腾达路由器手机端登录入口在哪)
-
腾达路由器使用192.168.0.1或tendawifi.com作为登录地址。登录管理员页面的步骤:1、手机连接到腾达路由器的wifi信号;2、在手机上打开浏览器,在地址栏输入192.168.0.1后...
-
- 百度网盘app下载安装手机版(百度网盘app安卓版)
-
百度网盘没有关闭离线下载功能,可以通过以下方法进行离线下载:1、打开手机,找到手机中的百度网盘:2、打开百度网盘,找到右下角的“我的”,找到屏幕中的“离线下载”:3、点击打开离线下载,选择“新建链接任务”,然后点击“确定”:4、在新建链接页...
-
2025-12-21 03:51 off999
- 安卓虚拟机破解版(挽念虚拟机15.0破解版)
-
正盗版都是广联达公司内部出来的,破解の用来打市场,正版的用来获取利润,个人破不了1、确保你的虚拟机网路设置正确。2、如果采用的是独立无线网卡那么要确保独立网卡能被虚拟机识别,虚拟机安装了独立无线网卡...
- win7系统改中文(win7系统换中文)
-
要将Windows7系统从英文切换为中文,可以按照以下步骤进行:1.打开控制面板:点击Windows开始菜单,选择“控制面板”。2.打开区域和语言设置:在控制面板中,找到“时钟、语言和区域”或“...
- win10启动盘怎么制作(windows10如何制作启动盘)
-
要制作Win10PE启动盘,首先需要下载Win10PE镜像文件。然后,使用专业的制作工具(如Rufus或WinToUSB)将镜像文件写入U盘或DVD。接下来,将U盘或DVD插入需要启动的计算机,并在B...
- 磁盘分区win7(磁盘分区win r)
-
1操作分区比较简单,但需要严格按照步骤进行,否则可能会导致数据丢失或无法启动等问题。2首先要进入磁盘管理界面,找到新安装的硬盘,右键选择“新建简单卷”,按照步骤设置分区大小、驱动器号、文件系统等。...
- cad2007破解版安装序列号(cad破解版的序列号)
-
1安装过程中可能会出现一些常见错误。例如,安装程序无法启动、安装程序突然中止或无法完成、安装后无法启动CAD等。2这些错误的原因可能是由于系统环境不符合要求,或者是由于安装程序本身出现问题。3为...
- windows7旗舰版安装密钥(win7安装密钥和激活密钥)
-
一、在线获取激活密钥1、访问官方网站:打开浏览器,访问微软官方网站。2、注册账号:如果没有微软账号,需要先注册一个账号。3、登录账号:使用注册的账号登录微软官方网站。4、获取密钥:在官方网站上找到wi...
- vmware下载哪个版本(vmware各版本下载)
-
vmos能运行原神。VMOS(虚拟大师)是一款以VirtualMachine(简称VM,即虚拟机)技术为主的APP(安卓应用软件)。通过VM技术,把开源的安卓系统(支持任意版本),无需root,以普...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐,Python给你都下载了
-
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装(win11系统u盘安装)
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
