Python mysql批量插入数据 代码高度复用
off999 2024-12-04 14:40 31 浏览 0 评论
一、应用场景
上篇文章我们学到了mysql的事务处理,在业务开发中,事务往往跟批量提交sql语句相关,而批量提交sql设计到重复生成sql语句。如果我们针对每个数据库表、每个不固定的插入字段都写一个方法进行维护,那代码复用率太低,开发效率太低,维护成本太高。
二、解决思路
为了解决上面提出的问题,我在这里提出如下思路:
- 所有插入语句的生成都共用一个入口
- 插入的数据库字段和参数可动态决定
- 要操作的表名可动态决定
三、解决办法
既然涉及到动态参数,那我把要插入的数据库表参数存入到字典中,从字典中拿出要存的数据。然后根据key对应的value值,拼成sql语句(涉及到for循环的知识点:Python for循环几种常用场景)。最后表名也是传参进来。
def common_insert_sql(item, table):
"""
从字典item的key-value提取要插入的字段,进行插入
:param item: 要执行更新的字段的字典,{"colunm_name_1":"colunm_value_1","colunm_name_2":"colunm_value_2"}
:param table: 数据库表名
:return: 返回完整的拼接好的sql插入语句
"""
keys = ', '.join(item.keys())
values = ', '.join(['%s'] * len(item))
insert_str = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table, keys=keys, values=values)
return insert_strinsert_sql = common_insert_sql(item, table)
# execute有两种方法,一种是直接执行sql,另一种是参数封装到元组中。
cursor.execute(insert_sql, tuple(item.values()))四、测试demo
# -*- coding: utf-8 -*-
"""
@Time : 2022/1/28 17:33
@Auth : 技术空间
@File :handle_list_sql_demo.py
@IDE :PyCharm
@Motto:技术总是要日积月累的
"""
import pymysql
def common_insert_sql(item, table):
"""
从item的key-value提取要插入的字段,进行插入
:param item: 要执行更新的字段的字典,{"colunm_name_1":"colunm_value_1","colunm_name_2":"colunm_value_2"}
:param table: 数据库表名
:return: 返回完整的拼接好的sql插入语句
"""
keys = ', '.join(item.keys())
values = ', '.join(['%s'] * len(item))
insert_str = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table, keys=keys, values=values)
return insert_str
def select_list(db_cursor, sql):
"""
查询数据量表的列表
:param db_cursor: 游标
:param sql: 拼接好的sql查询语句
:return: 返回查询结果列表
"""
db_cursor.execute(sql)
data_list = db_cursor.fetchall()
print(data_list)
return data_list
if __name__ == '__main__':
"""
模拟要插入的数据,我们可以把这模拟数据想象成真实开发场景中的批量新增用户、批量新增用户角色等。
这里我们把上篇文章的查询列表代码单独抽出来到一个方法里,提高代码复用率。
"""
db = pymysql.connect(host='localhost',
user='root',
password='root',
database='others')
cursor = db.cursor(pymysql.cursors.DictCursor)
# 开始批量插入表1
table_1 = "user_info"
table_2 = "user_role"
select_user_sql = " select id,name from " + table_1
select_role_sql = " select user_id,role_id from " + table_2
try:
print("执行批量插入user前的数据-->")
select_list(cursor, select_user_sql)
insert_user_list = []
for i in range(3):
insert_user_list.append({"name": "code_space_" + str(i + 1)})
for insert in insert_user_list:
insert_sql = common_insert_sql(insert, table_1)
cursor.execute(insert_sql, tuple(insert.values()))
# 开始批量插入表2
print("执行批量插入user_role前的数据-->")
select_list(cursor, select_role_sql)
insert_role_list = []
for i in range(3):
insert_role_list.append({"user_id": i + 4, "role_id": 1})
for insert in insert_role_list:
insert_sql = common_insert_sql(insert, table_2)
cursor.execute(insert_sql, tuple(insert.values()))
except Exception as e:
# 事务回滚
db.rollback()
print('事务处理失败', e)
else:
# 事务提交
db.commit()
print('事务处理成功', cursor.rowcount)
print("执行批量插入user后的数据-->")
select_list(cursor, select_user_sql)
print("执行批量插入user_role后的数据-->")
select_list(cursor, select_role_sql)
cursor.close()
db.close()
五、拓展
既然批量插入我们都可以完成耦合了,那批量更新也是不在话下了。批量更新稍微有一点不同,但是问题不大。下一篇我将会讲解关于批量更新的复用代码。还请多多关注。
关注我,坚持每日积累一个技巧,长期坚持,我们将会不断进步。
相关推荐
- 安全教育登录入口平台(安全教育登录入口平台官网)
-
122交通安全教育怎么登录:122交通网的注册方法是首先登录网址http://www.122.cn/,接着打开网页后,点击右上角的“个人登录”;其次进入邮箱注册,然后进入到注册页面,输入相关信息即可完...
- 大鱼吃小鱼经典版(大鱼吃小鱼经典版(经典版)官方版)
-
大鱼吃小鱼小鱼吃虾是于谦跟郭麒麟的《我的棒儿呢?》郭德纲说于思洋郭麒麟作诗的相声,最后郭麒麟做了一首,师傅躺在师母身上大鱼吃小鱼小鱼吃虾虾吃水水落石出师傅压师娘师娘压床床压地地动山摇。...
-
- 哪个软件可以免费pdf转ppt(免费的pdf转ppt软件哪个好)
-
要想将ppt免费转换为pdf的话,我们建议大家可以下一个那个wps,如果你是会员的话,可以注册为会员,这样的话,在wps里面的话,就可以免费将ppt呢转换为pdfpdf之后呢,我们就可以直接使用,不需要去直接不需要去另外保存,为什么格式转...
-
2026-02-04 09:03 off999
- 电信宽带测速官网入口(电信宽带测速官网入口app)
-
这个网站看看http://www.swok.cn/pcindex.jsp1.登录中国电信网上营业厅,宽带光纤,贴心服务,宽带测速2.下载第三方软件,如360等。进行在线测速进行宽带测速时,尽...
- 植物大战僵尸95版手机下载(植物大战僵尸95 版下载)
-
1可以在应用商店或者游戏平台上下载植物大战僵尸95版手机游戏。2下载教程:打开应用商店或者游戏平台,搜索“植物大战僵尸95版”,找到游戏后点击下载按钮,等待下载完成即可安装并开始游戏。3注意:确...
- 免费下载ppt成品的网站(ppt成品免费下载的网站有哪些)
-
1、Chuangkit(chuangkit.com)直达地址:chuangkit.com2、Woodo幻灯片(woodo.cn)直达链接:woodo.cn3、OfficePlus(officeplu...
- 2025世界杯赛程表(2025世界杯在哪个国家)
-
2022年卡塔尔世界杯赛程公布,全部比赛在卡塔尔境内8座球场举行,2022年,决赛阶段球队全部确定。揭幕战于当地时间11月20日19时进行,由东道主卡塔尔对阵厄瓜多尔,决赛于当地时间12月18日...
- 下载搜狐视频电视剧(搜狐电视剧下载安装)
-
搜狐视频APP下载好的视频想要导出到手机相册里方法如下1、打开手机搜狐视频软件,进入搜狐视频后我们点击右上角的“查找”,找到自已喜欢的视频。2、在“浏览器页面搜索”窗口中,输入要下载的视频的名称,然后...
- 永久免费听歌网站(丫丫音乐网)
-
可以到《我爱音乐网》《好听音乐网》《一听音乐网》《YYMP3音乐网》还可以到《九天音乐网》永久免费听歌软件有酷狗音乐和天猫精灵,以前要跳舞经常要下载舞曲,我从QQ上找不到舞曲下载就从酷狗音乐上找,大多...
- 音乐格式转换mp3软件(音乐格式转换器免费版)
-
有两种方法:方法一在手机上操作:1、进入手机中的文件管理。2、在其中选择“音乐”,将显示出手机中的全部音乐。3、点击“全选”,选中所有音乐文件。4、点击屏幕右下方的省略号图标,在弹出菜单中选择“...
- 电子书txt下载(免费的最全的小说阅读器)
-
1.Z-library里面收录了近千万本电子书籍,需求量大。2.苦瓜书盘没有广告,不需要账号注册,使用起来非常简单,直接搜索预览下载即可。3.鸠摩搜书整体风格简洁清晰,书籍资源丰富。4.亚马逊图书书籍...
- 最好免费观看高清电影(播放免费的最好看的电影)
-
在目前的网上选择中,IMDb(互联网电影数据库)被认为是最全的电影网站之一。这个网站提供了各种类型的电影和电视节目的海量信息,包括剧情介绍、演员表、评价、评论等。其还提供了有关电影制作背后的详细信息,...
- 孤单枪手2简体中文版(孤单枪手2简体中文版官方下载)
-
要将《孤胆枪手2》游戏的征兵秘籍切换为中文,您可以按照以下步骤进行操作:首先,打开游戏设置选项,通常可以在游戏主菜单或游戏内部找到。然后,寻找语言选项或界面选项,点击进入。在语言选项中,选择中文作为游...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
