百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

Python中的并发编程

off999 2025-04-29 03:20 42 浏览 0 评论

1.Python对并发编程的支持

  • 多线程：threading，利用 CPU 和 IO 可以同时执行的原理，让 CPU 不会干巴巴等待 IO 完成。
  • 多进程：multiprocessing，利用多核 CPU 的能力，真正地并行执行任务。
  • 异步 IO：asyncio，在单线程利用 CPU 和 IO 同时执行的原理，实现函数异步执行。
  • 使用 Lock 对资源加锁，防止冲突访问。
  • 使用 Queue 实现不同线程 / 进程之间的数据通信，实现生产者-消费者模式。
  • 使用线程池 / 进程池，简化线程 / 进程的任务提交、等待结束、获取结果。
  • 使用 subprocess 启动外部程序的进程，并进行输入输出交互。

2.Python并发编程有三种方式

  • 多线程 Thread (multiprocessing)
  • 多进程 Process (threading)
  • 多协程 Coroutine (asyncio)

CPU 密集型也叫计算密集型，是指 I/O 在很短的时间就可以完成，CPU 需要大量的计算和处理，特点是 CPU 占用率相当高。例如：压缩解压缩、加密解密、正则表达式搜索。

IO 密集型指的是系统运作大部分的状况是 CPU 在等 I/O（硬盘/内存）的读/写操作，CPU占用率仍然较低。例如：文件处理程序、网络爬虫程序、读写数据库程序。

一个进程中可以启动 N 个线程。一个线程中可以启动 N 个协程。

2.1 多线程Thread（threading）

优点：相比进程，更轻量级、占用资源少

缺点：

相比进程：多线程只能并发执行，不能利用多 CPU（GIL）

相比协程：启动数目有限制，占用内存资源，有线程切换开销

2.2 多进程Process（multiprocessing）

优点：可以利用多核 CPU 并行运算

缺点：占用资源最多、可启动数目比线程少

2.3 多协程Coroutine（asyncio）

优点：内存开销最少、启动协程数量最多

缺点：支持的库有限制（alonttp vs requests）、代码实现复杂

适用于：IO 密集型计算、需要超多任务运行、但有现成库支持的场景。

3.全局解释器锁GIL

全局解释器锁（Global Interpreter Lock，GIL），是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核心处理器上，使用GIL的解释器也只允许同一时间执行一个线程。

为什么要有GIL这个东西？

怎样规避GIL带来的限制

  • 多线程 threading 机制依然是有用的，用于 IO 密集型计算。因为在 IO（read、write、send、recv、etc.）期间，线程会释放 GIL，实现 CPU 和 IO 的并行。因此多线程用于 IO 密集型计算依然可以大幅提升速度。但是多线程用于 CPU 密集型计算时，只会更加拖慢速度。
  • 为了应对 GIL 的问题，Python 提供了 multiprocessing。使用 multiprocessing 的多进程机制实现并行计算、利用多核 CPU 优势。

4.多线程爬虫，速度快10倍

相关推荐

无线wifi路由器怎么安装（请问无线路由器怎么安装）

安装的方法/步骤：1、怎么安装无线路由器呢?首先把网线的其中一头插入进光猫里面。2、接着用网线的另一头插入进无线路由器的蓝色接口处，这样就安装好无线路由器啦。3、点击打开电脑浏览器，输入路由器设置地址...

fat32格式化精灵（格式化fat32格式工具）

内存卡格式化一般有两种方式：第一种是直接将内存卡插入手机的卡托，然后进入设置——运行及内存管理，点击格式化SD卡即可完成。当然有一些手机是不支持外置的内存卡插入，这就需要用OTG线插入手机，点击手机的...

外置光驱安装win7系统（外置光驱安装操作系统）

苹果电脑、电源适配器丶光盘装系统（电脑有光驱、或者外接光驱）光盘安装准备：win764位纯净版安装盘，如果使用的苹果电脑有光驱，优先使用自带光驱安装；如电脑没有光驱，可以是用外接USB光驱安装。光盘...

win7x86是32位还是64位

32位win7x86是32位操作系统,win7x64是64位操作系统。扩展资料Windows7,中文名称视窗7,是由微软公司(Microsoft)开发的操作系统,内核版本号为WindowsNT...

用我告诉你安装win7（安装win7教程）

方法一：使用工具在线一键下载安装win7（win7正式版只需使用正版密钥激活即可）1、在电脑安装好小白一键重装系统工具打开，选择原版win7旗舰版系统，点击安装此系统。2、等待软件自动下载系统镜像文件...

sd卡如何修复（如何修复sd卡视频教程）

修复SD卡的三个步骤如下：1.使用磁盘检测工具检查SD卡的错误：您可以使用Windows操作系统中自带的磁盘检查工具或第三方软件来检查并修复SD卡中的错误。2.格式化SD卡：如果检查后发现错误无法...

安卓手机杀毒软件哪个最好用

腾讯手机管家的守护老人安全功能版本我在用，我来说说吧。此版本是专门为守护老人安全设计推出的，不但有效拦截诈骗短信，电话，木马病毒，钓鱼网址，辟谣功能可以帮助老人立即分辨养生讯息，银行卡故障讯息，保险异...

xp3用什么模拟器打开（xp3用什么模拟器打开好）

可以按照以下的步骤排查解决：首先，游戏必须要使kirikiri引擎，这点可以从文件中是否含有部分xp3后缀的文件来判断然后用模拟器打开date.xp3就行了，部分汉化游戏是直接打开exe程序如果遇到d...

固态硬盘用mbr还是guid（固态硬盘guid好还是mbr好）

如果电脑原装系统是win8或者以上的，那么硬盘分区表格式为GUID（GPT）格式的；如果是win7以下的，那么一般就是MBR的。主引导记录（MBR）是计算机开机后访问硬盘时所必须要读取的首个扇区，由分...

为什么fps大神都是400dpi（fps为什么高）

400DPI，在游戏里调节不同英雄的鼠标灵敏度，可以保证最小范围微调改动鼠标移动速度。因为DPI和灵敏度是乘积关系。举个例子：如果你玩麦克雷时鼠标DPI是3200，游戏内灵敏度是1。但你切换到源氏和闪...

系统集成项目管理工程师难考吗

　　系统集成项目管理工程师考试的普遍通过率是在10%左右，但是并不表示考试真的有那么难。因为考试本身没有报考条件的限制，且考试报名费用很低，很多人都不重视考试。所以通过率普遍偏低，只要你认真备考，有一...

360影视大全下载2025免费版（下载360影视大全最新版下载安装到手机版）

你好朋友360影视大全里的很多视频都是免费的，建议安装最新的360影视大全就可以了打开360视频，搜索自己需要的视频，点击360播放器右下角的下载箭头，即可将视频进行下载，下载完毕之后视频会保存在36...

360安全卫士手机版下载（360安全卫士官方免费下载手机版5.5.0）

相当靠谱360手机卫士是一款由奇虎网推出的功能强、效果好、受用户欢迎的上网安全软件。360安全卫士拥有查杀木马、清理插件、修复漏洞、电脑体检、保护隐私等多种功能，并独创了“木马防火墙”“360密盘”等...

deepin和统信uos（统信和deepin的区别）

差不多。1Deepin原名LinuxDeepin、deepinos、深度操作系统，于2014年4月改名Deepin。deepin团队基于Qt/C++（用于前端）和Go（用于后端）开发了的全新深度桌...

三星驱动（三星驱动板）

驱动是必须装的，但不需要单独安装驱动。　　1、电脑的所有硬件，必然要装驱动，键盘、鼠标什么的，都是有驱动的。驱动是软件和硬件结合的桥梁。但多数普通常见的硬件，驱动是widnows系统自带的，不需要用户...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.