Python中的并发编程
off999 2025-04-29 03:20 14 浏览 0 评论
1.Python对并发编程的支持
- 多线程：threading，利用 CPU 和 IO 可以同时执行的原理，让 CPU 不会干巴巴等待 IO 完成。
- 多进程：multiprocessing，利用多核 CPU 的能力，真正地并行执行任务。
- 异步 IO：asyncio，在单线程利用 CPU 和 IO 同时执行的原理，实现函数异步执行。
- 使用 Lock 对资源加锁，防止冲突访问。
- 使用 Queue 实现不同线程 / 进程之间的数据通信，实现生产者-消费者模式。
- 使用线程池 / 进程池，简化线程 / 进程的任务提交、等待结束、获取结果。
- 使用 subprocess 启动外部程序的进程，并进行输入输出交互。
2.Python并发编程有三种方式
- 多线程 Thread (multiprocessing)
- 多进程 Process (threading)
- 多协程 Coroutine (asyncio)
CPU 密集型也叫计算密集型，是指 I/O 在很短的时间就可以完成，CPU 需要大量的计算和处理，特点是 CPU 占用率相当高。例如：压缩解压缩、加密解密、正则表达式搜索。
IO 密集型指的是系统运作大部分的状况是 CPU 在等 I/O（硬盘/内存）的读/写操作，CPU占用率仍然较低。例如：文件处理程序、网络爬虫程序、读写数据库程序。
一个进程中可以启动 N 个线程。一个线程中可以启动 N 个协程。
2.1 多线程Thread（threading）
优点：相比进程，更轻量级、占用资源少
缺点：
相比进程：多线程只能并发执行，不能利用多 CPU（GIL）
相比协程：启动数目有限制，占用内存资源，有线程切换开销
2.2 多进程Process（multiprocessing）
优点：可以利用多核 CPU 并行运算
缺点：占用资源最多、可启动数目比线程少
2.3 多协程Coroutine（asyncio）
优点：内存开销最少、启动协程数量最多
缺点：支持的库有限制（alonttp vs requests）、代码实现复杂
适用于：IO 密集型计算、需要超多任务运行、但有现成库支持的场景。
3.全局解释器锁GIL
全局解释器锁（Global Interpreter Lock，GIL），是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核心处理器上，使用GIL的解释器也只允许同一时间执行一个线程。
为什么要有GIL这个东西？
怎样规避GIL带来的限制
- 多线程 threading 机制依然是有用的，用于 IO 密集型计算。因为在 IO（read、write、send、recv、etc.）期间，线程会释放 GIL，实现 CPU 和 IO 的并行。因此多线程用于 IO 密集型计算依然可以大幅提升速度。但是多线程用于 CPU 密集型计算时，只会更加拖慢速度。
- 为了应对 GIL 的问题，Python 提供了 multiprocessing。使用 multiprocessing 的多进程机制实现并行计算、利用多核 CPU 优势。
4.多线程爬虫，速度快10倍
相关推荐
- python入门到脱坑经典案例—清空列表
-
在Python中，清空列表是一个基础但重要的操作。clear()方法是最直接的方式，但还有其他方法也可以实现相同效果。以下是详细说明：1.使用clear()方法（Python3.3+推荐）...
- python中元组，列表，字典，集合删除项目方式的归纳
-
九三，君子终日乾乾，夕惕若，厉无咎。在使用python过程中会经常遇到这四种集合数据类型，今天就对这四种集合数据类型中删除项目的操作做个总结性的归纳。列表（List）是一种有序和可更改的集合。允许重复...
- Linux 下海量文件删除方法效率对比，最慢的竟然是 rm
-
Linux下海量文件删除方法效率对比，本次参赛选手一共6位，分别是：rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...
- 数据结构与算法——链式存储(链表)的插入及删除，
-
持续分享嵌入式技术，操作系统，算法，c语言/python等，欢迎小友关注支持上篇文章我们讲述了链表的基本概念及一些查找遍历的方法，本篇我们主要将一下链表的插入删除操作，以及采用堆栈方式如何创建链表。链...
- Python自动化:openpyxl写入数据，插入删除行列等基础操作
-
importopenpyxlwb=openpyxl.load_workbook("example1.xlsx")sh=wb['Sheet1']写入数据#...
- 在Linux下软件的安装与卸载（linux里的程序的安装与卸载命令）
-
通过apt安装/协助软件apt是AdvancedPackagingTool，是Linux下的一款安装包管理工具可以在终端中方便的安装/卸载/更新软件包命令使用格式：安装软件：sudoapt...
- Python 批量卸载关联包 pip-autoremove
-
pip工具在安装扩展包的时候会自动安装依赖的关联包，但是卸载时只删除单个包，无法卸载关联的包。pip-autoremove就是为了解决卸载关联包的问题。安装方法通过下面的命令安装：pipinsta...
- 用Python在Word文档中插入和删除文本框
-
在当今自动化办公需求日益增长的背景下，通过编程手段动态管理Word文档中的文本框元素已成为提升工作效率的关键技术路径。文本框作为文档排版中灵活的内容容器，既能承载多模态信息（如文字、图像），又可实现独...
- Python 从列表中删除值的多种实用方法详解
-
#Python从列表中删除值的多种实用方法详解在Python编程中，列表（List）是一种常用的数据结构，具有动态可变的特性。当我们需要从列表中删除元素时，根据不同的场景（如按值删除、按索引删除、...
- Python 中的前缀删除操作全指南（python删除前导0）
-
1.字符串前缀删除1.1使用内置方法Python提供了几种内置方法来处理字符串前缀的删除：#1.使用removeprefix()方法(Python3.9+)text="...
- 每天学点Python知识:如何删除空白
-
在Python中，删除空白可以分为几种不同的情况，常见的是针对字符串或列表中空白字符的处理。一、删除字符串中的空白1.删除字符串两端的空白（空格、\t、\n等）使用.strip()方法：s...
- Linux系统自带Python2&yum的卸载及重装
-
写在前面事情的起因是我昨天在测试Linux安装Python3的shell脚本时，需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时，少写了个3，不小心将系统自带的python2也...
- 如何使用Python将多个excel文件数据快速汇总?
-
在数据分析和处理的过程中，Excel文件是我们经常会遇到的数据格式之一。本文将通过一个具体的示例，展示如何使用Python和Pandas库来读取、合并和处理多个Excel文件的数据，并最终生成一个包含...
- 【第三弹】用Python实现Excel的vlookup功能
-
今天继续用pandas实现Excel的vlookup功能，假设我们的2个表长成这样：我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说，先上代码：importpandasaspd...
- python中pandas读取excel单列及连续多列数据
-
案例：想获取test.xls中C列、H列以后（当H列后列数未知时）的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)