Python与Mysql怎么完成大量的数据交互?
off999 2024-10-12 06:14 56 浏览 0 评论
如果你不了解python,可以先了解python的简单用法。不过人邮君相信,在座的各位都是大佬,我们直接介绍操作。
第一部分,我们先来介绍python与mysql如何完成数据交互:
python 与 mysql 实现交互的过程,通常分为:建立连接、把sql语句定义为字符串,提交指令、关闭连接。
核心的技能在于 sql语句;除了定义sql语句,其余3个处理都是固定的写法。接下来,人邮君结合《MySQL是怎样运行的》这本书,以Linux环境为主,为大家进行说明。
MySQL是怎样运行的 从根儿上理解MySQL
首先来看第一步,安装 MySQL 数据库:
如果你想要使用python操作MySQL数据库,就必须先要安装pymysql库,这个库的安装很简单;
第二步,pymysql 模块安装与使用:
MySQL-python驱动,是python 操作mysql必不可少的模块。
下载MySQL-python-1.2.5.zip 文件之后直接解压。进入MySQL-python-1.2.5目录:
>>python setup.py install
下载地址:https://pypi.python.org/pypi/MySQL-python/
第三步,python与mysql的交互实现:
1)连接
pymysql .connect () 函数:连接数据库
使用 pymysql 的 connect() 方法连接数据库,涉及到几个参数,具体代表意义如下:
host:MySQL服务的地址,若数据库在本地上,使用 localhost 或者127.0.0.1。如果在其它服务器上,则写对应的 IP地址
port:服务的端口号,默认为3306,不写则为默认值。
user:登录数据库的用户名
passwd:登录 MySQL 的密码
db:数据库名
charset:设置为 utf8 编码,解决存汉字乱码问题
eg:
# 导入模块
import pymysql
# 打开数据库连接
conn = pymysql.connect(
    host="127.0.0.1",
    user="root",
    password="123456",
    database="test_db",
    charset="utf8")
print(conn)
print(type(conn))输出结果显示如下:表面数据库连接成功
详细可以参考
https://www.cnblogs.com/qjj19931230/p/12550384.html?utm_source=tuicool
这里要强调的是,除了上面的连接方式,还有其他的连接。在《MySQL是怎样运行的》这本书中,介绍到,mysql连接分为内连接和外连接。内外连接的根本区别是在驱动表中记录不符合ON子句中的连接条件时,内连接不会把该记录加入到最后的结果集中,而外连接会。外连接分为左(外)连接和右(外)连接。
三种链接方式如下图所示:
2)获取游标
conn.cursor():获取游标
对数据库进行操作,只连接数据库是不够的,还需要获取操作数据库的游标,才能进行后续的操作。游标的主要作用是用来接收数据库操作后的返回结果,比如数据查询、插入和删除等。通过获取到的数据库连接实例 conn 下的 cursor() 方法来创建游标,如下:
# 导入模块
import pymysql
# 打开数据库连接
conn = pymysql.connect(
    host="127.0.0.1",
    user="root",
    password="123456",
    database="test_db",
    charset="utf8")
# print(conn)
# print(type(conn))
# 获取连接下的游标
cursor_test = conn.cursor()
print(cursor_test)3)数据库操作
- 创建表
 
import pymysql
# 打开数据库连接
conn = pymysql.connect(
    host="127.0.0.1",
    user="root",
    password="123456",
    database="test_db",
    charset="utf8")
# 获取连接下的游标
cursor_test = conn.cursor()
# 使用 execute() 方法执行 SQL,如果表存在则删除
cursor_test.execute("DROP TABLE IF EXISTS EMPLOYEE")
# 使用预处理语句创建表
sql = """CREATE TABLE user1 (
         FIRST_NAME  CHAR(20) NOT NULL,
         LAST_NAME  CHAR(20),
         AGE INT,  
         SEX CHAR(1),
         INCOME FLOAT )"""
cursor_test.execute(sql)
# 关闭数据库连接
conn.close()如下所示数据库表创建成功:
mysql> desc user1;
+------------+----------+------+-----+---------+-------+
| Field      | Type     | Null | Key | Default | Extra |
+------------+----------+------+-----+---------+-------+
| FIRST_NAME | char(20) | NO   |     | NULL    |       |
| LAST_NAME  | char(20) | YES  |     | NULL    |       |
| AGE        | int(11)  | YES  |     | NULL    |       |
| SEX        | char(1)  | YES  |     | NULL    |       |
| INCOME     | float    | YES  |     | NULL    |       |
+------------+----------+------+-----+---------+-------+
5 rows in set (0.00 sec)- 插入数据
 
import pymysql
# 打开数据库连接
conn = pymysql.connect(
    host="127.0.0.1",
    user="root",
    password="123456",
    database="test_db",
    charset="utf8")
# 获取连接下的游标
cursor_test = conn.cursor()
# 使用预处理语句创建表
sql = """INSERT INTO user1(FIRST_NAME,
         LAST_NAME, AGE, SEX, INCOME)
         VALUES ('Fei', 'Fei', 20, 'M', 1000)"""
try:
   # 执行sql语句
   cursor_test.execute(sql)
   # 提交到数据库执行
   conn.commit()
except:
   # 如果发生错误则回滚
   conn.rollback()
# 关闭数据库连接
conn.close()- 查询数据
 
import pymysql
# 打开数据库连接
conn = pymysql.connect(
    host="127.0.0.1",
    user="root",
    password="123456",
    database="test_db",
    charset="utf8")
# 获取连接下的游标
cursor_test = conn.cursor()
sql = """
    select * from user1"""
try:
    # 执行 sql 语句
    cursor_test.execute(sql)
    # 显示出所有数据
    data_result = cursor_test.fetchall()
    for row in data_result:
        fname = row[0]
        lname = row[1]
        age = row[2]
        sex = row[3]
        income = row[4]
        # 打印结果
        print("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % \
              (fname, lname, age, sex, income))
except:
    print("Error: unable to fetch data")
# 关闭数据库连接
conn.close()- 删除操作
 
# 导入模块
import pymysql
# 打开数据库连接
conn = pymysql.connect(
    host="127.0.0.1",
    user="root",
    password="123456",
    database="test_db",
    charset="utf8")
# print(conn)
# print(type(conn))
# 获取连接下的游标
cursor_test = conn.cursor()
sql = "DELETE * FROM user1"
try:
    # 执行SQL语句
    cursor_test.execute(sql)
    # 提交到数据库执行
    conn.commit()
except:
    # 发生错误时回滚
    conn.rollback()
# 关闭数据库连接
conn.close()第二部分,我们来介绍如何实现「大量」数据的交互?
在《MySQL是怎样运行的》,作者小孩子4919强调,嵌套循环连接算法是指驱动表只访问一次,但被驱动表却可能会访问多次,访问次数取决于驱动表执行单表查询后的结果集中有多少条记录,大致过程如下:
步骤1,选取驱动表,使用与驱动表相关的过滤条件,选取代价最低的单表访问方法来执行对驱动表的单表查询;
步骤2,对步骤1中查询驱动表得到的结果集中的每一条记录,都分别到被驱动表中查找匹配的记录。
由于被驱动表可能会访问多次,因此可以为被驱动表建立合适的索引以加快查询速度。
所以,如果被驱动表非常大,即需要完成大量的数据交换,多次访问被驱动表可能导致很多次的磁盘I/O读取操作,此时可以使用基于块的嵌套循环连接算法来缓解由此造成的性能损耗。Mysql的设计者,提出了名为Join Buffer(连接缓冲区)的概念:
有兴趣的同学,建议根据书中详细描述走一遍。
此外,人邮君特别建议大家看看《MySQL是怎样运行的》,它解决了“为什么这个SQL语句执行得这么慢?为什么我明明建立了索引,但是查询计划显示没用?为什么IN查询中的参数一多就不使用索引了?为什么我的数据显示成了乱码?”等等每一位DBA和后端开发人员在与MySQL打交道时,所遇到的很多常见问题。除此之外,索引结构、MVCC、隔离级别的实现、锁的使用等知识,也是求职人员在MySQL面试中躲不过去的高频问题,作者都在书中给出了很详细的介绍。
MySQL是怎样运行的 从根儿上理解MySQL
这本书的初稿最初是以小册的形式发布在掘金平台上的,一经发布便得到大家的青睐,十分火爆!历经两年,现在终于成书,有兴趣的小伙伴也可以去掘金围观~(小孩子4919 的个人主页)
从底层到应用,从基础到进阶,关于MySQL的一切,作者都在书中讲解得非常清楚,帮助你从根儿上理解MySQL。
相关推荐
- 阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?
 - 
        
TG:@yunlaoda360引言:速度即体验,速度即业务在当今数字化的世界中,网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒,都可能导致用户流失和收入损失。对...
 
- 高流量大并发Linux TCP性能调优_linux 高并发网络编程
 - 
        
其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文所面对的情况为...
 
- 性能测试100集(12)性能指标资源使用率
 - 
        
在性能测试中,资源使用率是评估系统硬件效率的关键指标,主要包括以下四类:#性能测试##性能压测策略##软件测试#1.CPU使用率定义:CPU处理任务的时间占比,计算公式为1-空闲时间/总...
 
- Linux 服务器常见的性能调优_linux高性能服务端编程
 - 
        
一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时,总想着直接改配置,其实第一步该是“看清楚问题”。就像医生看病要先听诊,调优前得先知道服务器“哪里...
 
- Nginx性能优化实战:手把手教你提升10倍性能!
 - 
        
关注△mikechen△,十余年BAT架构经验倾囊相授!Nginx是大型架构而核心,下面我重点详解Nginx性能@mikechen文章来源:mikechen.cc1.worker_processe...
 
- 高并发场景下,Spring Cloud Gateway如何抗住百万QPS?
 - 
        
关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。高并发场景下网关作为流量的入口非常重要,下面我重点详解SpringCloudGateway如何抗住百万性能@m...
 
- Kubernetes 高并发处理实战(可落地案例 + 源码)
 - 
        
目标场景:对外提供HTTPAPI的微服务在短时间内收到大量请求(例如每秒数千至数万RPS),要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路(多层防护):边缘层:云LB...
 
- 高并发场景下,Nginx如何扛住千万级请求?
 - 
        
Nginx是大型架构的必备中间件,下面我重点详解Nginx如何实现高并发@mikechen文章来源:mikechen.cc事件驱动模型Nginx采用事件驱动模型,这是Nginx高并发性能的基石。传统...
 
- Spring Boot+Vue全栈开发实战,中文版高清PDF资源
 - 
        
SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序...
 
- Docker-基础操作_docker基础实战教程二
 - 
        
一、镜像1、从仓库获取镜像搜索镜像:dockersearchimage_name搜索结果过滤:是否官方:dockersearch--filter="is-offical=true...
 
- 你有空吗?跟我一起搭个服务器好不好?
 - 
        
来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候,随手翻了翻写过的文章,发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论,却很少有涉及动手...
 
- 部署你自己的 SaaS_saas如何部署
 - 
        
部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。(DigitalOcean教程)dockovpn.io—无状态OpenVPNdockerized服务器,不需要持久存储。...
 
- Docker Compose_dockercompose安装
 - 
        
DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具,通过一个docker-compose.yml文件,用YAML格式描述服务、网络、卷等内容,...
 
- 京东T7架构师推出的电子版SpringBoot,从构建小系统到架构大系统
 - 
        
前言:Java的各种开发框架发展了很多年,影响了一代又一代的程序员,现在无论是程序员,还是架构师,使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统,这就要求使用的开发框架尽量简单,无论...
 
- Kubernetes (k8s) 入门学习指南_k8s kubeproxy
 - 
        
Kubernetes(k8s)入门学习指南一、什么是Kubernetes?为什么需要它?Kubernetes(k8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。它...
 
欢迎 你 发表评论:
- 一周热门
 - 
                    
- 
                            
                                                                
抖音上好看的小姐姐,Python给你都下载了
 - 
                            
                                                                
全网最简单易懂!495页Python漫画教程,高清PDF版免费下载
 - 
                            
                                                                
Python 3.14 的 UUIDv6/v7/v8 上新,别再用 uuid4 () 啦!
 - 
                            
                                                                
python入门到脱坑 输入与输出—str()函数
 - 
                            
                                                                
宝塔面板如何添加免费waf防火墙?(宝塔面板开启https)
 - 
                            
                                                                
Python三目运算基础与进阶_python三目运算符判断三个变量
 - 
                            
                                                                
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
 - 
                            
                                                                
慕ke 前端工程师2024「完整」
 - 
                            
                                                                
失业程序员复习python笔记——条件与循环
 - 
                            
                                                                
飞牛NAS部署TVGate Docker项目,实现内网一键转发、代理、jx
 
 - 
                            
                                                                
 
- 最近发表
 
- 标签列表
 - 
- python计时 (73)
 - python安装路径 (56)
 - python类型转换 (93)
 - python进度条 (67)
 - python吧 (67)
 - python的for循环 (65)
 - python格式化字符串 (61)
 - python静态方法 (57)
 - python列表切片 (59)
 - python面向对象编程 (60)
 - python 代码加密 (65)
 - python串口编程 (77)
 - python封装 (57)
 - python写入txt (66)
 - python读取文件夹下所有文件 (59)
 - python操作mysql数据库 (66)
 - python获取列表的长度 (64)
 - python接口 (63)
 - python调用函数 (57)
 - python多态 (60)
 - python匿名函数 (59)
 - python打印九九乘法表 (65)
 - python赋值 (62)
 - python异常 (69)
 - python元祖 (57)
 
 
