Python中的并发编程
off999 2025-04-29 03:20 17 浏览 0 评论
1.Python对并发编程的支持
- 多线程：threading，利用 CPU 和 IO 可以同时执行的原理，让 CPU 不会干巴巴等待 IO 完成。
- 多进程：multiprocessing，利用多核 CPU 的能力，真正地并行执行任务。
- 异步 IO：asyncio，在单线程利用 CPU 和 IO 同时执行的原理，实现函数异步执行。
- 使用 Lock 对资源加锁，防止冲突访问。
- 使用 Queue 实现不同线程 / 进程之间的数据通信，实现生产者-消费者模式。
- 使用线程池 / 进程池，简化线程 / 进程的任务提交、等待结束、获取结果。
- 使用 subprocess 启动外部程序的进程，并进行输入输出交互。
2.Python并发编程有三种方式
- 多线程 Thread (multiprocessing)
- 多进程 Process (threading)
- 多协程 Coroutine (asyncio)
CPU 密集型也叫计算密集型，是指 I/O 在很短的时间就可以完成，CPU 需要大量的计算和处理，特点是 CPU 占用率相当高。例如：压缩解压缩、加密解密、正则表达式搜索。
IO 密集型指的是系统运作大部分的状况是 CPU 在等 I/O（硬盘/内存）的读/写操作，CPU占用率仍然较低。例如：文件处理程序、网络爬虫程序、读写数据库程序。
一个进程中可以启动 N 个线程。一个线程中可以启动 N 个协程。
2.1 多线程Thread（threading）
优点：相比进程，更轻量级、占用资源少
缺点：
相比进程：多线程只能并发执行，不能利用多 CPU（GIL）
相比协程：启动数目有限制，占用内存资源，有线程切换开销
2.2 多进程Process（multiprocessing）
优点：可以利用多核 CPU 并行运算
缺点：占用资源最多、可启动数目比线程少
2.3 多协程Coroutine（asyncio）
优点：内存开销最少、启动协程数量最多
缺点：支持的库有限制（alonttp vs requests）、代码实现复杂
适用于：IO 密集型计算、需要超多任务运行、但有现成库支持的场景。
3.全局解释器锁GIL
全局解释器锁（Global Interpreter Lock，GIL），是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核心处理器上，使用GIL的解释器也只允许同一时间执行一个线程。
为什么要有GIL这个东西？
怎样规避GIL带来的限制
- 多线程 threading 机制依然是有用的，用于 IO 密集型计算。因为在 IO（read、write、send、recv、etc.）期间，线程会释放 GIL，实现 CPU 和 IO 的并行。因此多线程用于 IO 密集型计算依然可以大幅提升速度。但是多线程用于 CPU 密集型计算时，只会更加拖慢速度。
- 为了应对 GIL 的问题，Python 提供了 multiprocessing。使用 multiprocessing 的多进程机制实现并行计算、利用多核 CPU 优势。
4.多线程爬虫，速度快10倍
相关推荐
- pip的使用及配置_pip怎么配置
-
要使用python必须要学会使用pip，pip的全称：packageinstallerforpython，也就是Python包管理工具，主要是对python的第三方库进行安装、更新、卸载等操作，...
- Anaconda下安装pytorch_anaconda下安装tensorflow
-
之前的文章介绍了tensorflow-gpu的安装方法，也介绍了许多基本的工具与使用方法，具体可以看Ubuntu快速安装tensorflow2.4的gpu版本。pytorch也是一个十分流行的机器学...
- Centos 7 64位安装 python3的教程
-
wgethttps://www.python.org/ftp/python/3.10.13/Python-3.10.13.tgz#下载指定版本软件安装包tar-xzfPython-3.10.1...
- 如何安装 pip 管理工具_pip安装详细步骤
-
如何安装pip管理工具方法一:yum方式安装Centos安装python3和python3-devel开发包>#yuminstallgcclibffi-develpy...
- Python入门——从开发环境搭建到hello world
-
一、Python解释器安装1、在windows下步骤1、下载安装包https://www.python.org/downloads/打开后选择【Downloads】->【Windows】小编是一...
- 生产环境中使用的十大 Python 设计模式
-
在软件开发的浩瀚世界中，设计模式如同指引方向的灯塔，为我们构建稳定、高效且易于维护的系统提供了经过验证的解决方案。对于Python开发者而言，理解和掌握这些模式，更是提升代码质量、加速开发进程的关...
- 如何创建和管理Python虚拟环境_python怎么创建虚拟环境
-
在Python开发中，虚拟环境是隔离项目依赖的关键工具。下面介绍创建和管理Python虚拟环境的主流方法。一、内置工具：venv（Python3.3+推荐）venv是Python标准...
- 初学者入门Python的第一步——环境搭建
-
Python如今成为零基础编程爱好者的首选学习语言，这和Python语言自身的强大功能和简单易学是分不开的。今天千锋武汉Python培训小编将带领Python零基础的初学者完成入门的第一步——环境搭建...
- 全网最简我的世界Minecraft搭建Python编程环境
-
这篇文章将给大家介绍一种在我的世界minecraft里搭建Python编程开发环境的操作方法。目前看起来应该是全网最简单的方法。搭建完成后，马上就可以利用python代码在我的世界自动创建很多有意思的...
- Python开发中的虚拟环境管理_python3虚拟环境
-
Python开发中，虚拟环境管理帮助隔离项目依赖，避免不同项目之间的依赖冲突。虚拟环境的作用隔离依赖：不同项目可能需要不同版本的库，虚拟环境可以为每个项目创建独立的环境。避免全局污染：全局安装的库可...
- Python内置zipfile模块:操作 ZIP 归档文件详解
-
一、知识导图二、知识讲解（一）zipfile模块概述zipfile模块是Python内置的用于操作ZIP归档文件的模块。它提供了创建、读取、写入、添加及列出ZIP文件的功能。（二）ZipFile类1....
- Python内置模块pydoc :文档生成器和在线帮助系统详解
-
一、引言在Python开发中，良好的文档是提高代码可读性和可维护性的关键。pydoc是Python自带的一个强大的文档生成器和在线帮助系统，它可以根据Python模块自动生成文档，并支持多种输出格式...
- Python sys模块使用教程_python system模块
-
1.知识导图2.sys模块概述2.1模块定义与作用sys模块是Python标准库中的一个内置模块，提供了与Python解释器及其环境交互的接口。它包含了许多与系统相关的变量和函数，可以用来控制P...
- Python Logging 模块完全解读_python logging详解
-
私信我，回复：学习，获取免费学习资源包。Python中的logging模块可以让你跟踪代码运行时的事件，当程序崩溃时可以查看日志并且发现是什么引发了错误。Log信息有内置的层级——调试（deb...
- 软件测试|Python logging模块怎么使用，你会了吗?
-
Pythonlogging模块使用在开发和维护Python应用程序时，日志记录是一项非常重要的任务。Python提供了内置的logging模块，它可以帮助我们方便地记录应用程序的运行时信息、错误和调...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)