百度360必应搜狗淘宝本站头条
python类型转换python异常python操作mysql数据库python打印九九乘法表python获取列表的长度
当前位置：网站首页 > 技术资源 > 正文

Python中的并发编程

off999 2025-04-29 03:20 8 浏览 0 评论

1.Python对并发编程的支持

  • 多线程：threading，利用 CPU 和 IO 可以同时执行的原理，让 CPU 不会干巴巴等待 IO 完成。
  • 多进程：multiprocessing，利用多核 CPU 的能力，真正地并行执行任务。
  • 异步 IO：asyncio，在单线程利用 CPU 和 IO 同时执行的原理，实现函数异步执行。
  • 使用 Lock 对资源加锁，防止冲突访问。
  • 使用 Queue 实现不同线程 / 进程之间的数据通信，实现生产者-消费者模式。
  • 使用线程池 / 进程池，简化线程 / 进程的任务提交、等待结束、获取结果。
  • 使用 subprocess 启动外部程序的进程，并进行输入输出交互。

2.Python并发编程有三种方式

  • 多线程 Thread (multiprocessing)
  • 多进程 Process (threading)
  • 多协程 Coroutine (asyncio)

CPU 密集型也叫计算密集型，是指 I/O 在很短的时间就可以完成，CPU 需要大量的计算和处理，特点是 CPU 占用率相当高。例如：压缩解压缩、加密解密、正则表达式搜索。

IO 密集型指的是系统运作大部分的状况是 CPU 在等 I/O（硬盘/内存）的读/写操作，CPU占用率仍然较低。例如：文件处理程序、网络爬虫程序、读写数据库程序。

一个进程中可以启动 N 个线程。一个线程中可以启动 N 个协程。

2.1 多线程Thread（threading）

优点：相比进程，更轻量级、占用资源少

缺点：

相比进程：多线程只能并发执行，不能利用多 CPU（GIL）

相比协程：启动数目有限制，占用内存资源，有线程切换开销

2.2 多进程Process（multiprocessing）

优点：可以利用多核 CPU 并行运算

缺点：占用资源最多、可启动数目比线程少

2.3 多协程Coroutine（asyncio）

优点：内存开销最少、启动协程数量最多

缺点：支持的库有限制（alonttp vs requests）、代码实现复杂

适用于：IO 密集型计算、需要超多任务运行、但有现成库支持的场景。

3.全局解释器锁GIL

全局解释器锁（Global Interpreter Lock，GIL），是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核心处理器上，使用GIL的解释器也只允许同一时间执行一个线程。

为什么要有GIL这个东西？

怎样规避GIL带来的限制

  • 多线程 threading 机制依然是有用的，用于 IO 密集型计算。因为在 IO（read、write、send、recv、etc.）期间，线程会释放 GIL，实现 CPU 和 IO 的并行。因此多线程用于 IO 密集型计算依然可以大幅提升速度。但是多线程用于 CPU 密集型计算时，只会更加拖慢速度。
  • 为了应对 GIL 的问题，Python 提供了 multiprocessing。使用 multiprocessing 的多进程机制实现并行计算、利用多核 CPU 优势。

4.多线程爬虫，速度快10倍

相关推荐

还不会deepseek部署到本地?这篇教程手把手教会你

一、为什么要把DeepSeek部署到本地？新手必看的前置知识近期很多读者在后台询问AI工具本地部署的问题，今天以国产优质模型DeepSeek为例，手把手教你实现本地化部署。本地部署有三大优势：数据隐私...

推荐个超实用的Python标准库pathlib，玩转路径操作

pathlib学习Python时，尤其是在进行文件操作和数据处理时，经常会处理路径问题。最常用和常见的是os.path模块，它将路径当做字符串进行处理，如果使用不当可能导致难以察觉的错误，而且...

python中文件读写操作最佳实践——使用 os.path 进行路径操作

在Python中处理文件路径时，使用os.path模块比直接使用字符串拼接更加安全、可靠且跨平台。下面我将详细解释为什么以及如何使用os.path进行路径操作。为什么不应该使用字符串拼接？#不推荐的...

Python如何获取当前文件所在目录的完整路径

在编程的过程中，我们常常会遇到需要获取当前文件所在目录完整路径的需求。那具体该怎么做呢？这是在众多开发者群体中备受关注的一个问题，就像在问答平台上“/questions/3430372/how-d...

python编程之神经网络篇（python的神经网络编程）

#头条创作挑战赛#神经网络发展到今天大致经历了2次兴起和2次衰落，1943年心理学家McCulloch(麦卡洛克)和数学家Pitts(皮茨)参考生物神经系统的工作原理，首次提出建立了MP神经元模型。其...

详解Python整数类型的按位运算（在python中整数）

在Python编程中，按位运算是直接对整数的二进制位进行操作的底层运算，虽然不如逻辑运算常见，但在处理位掩码、状态标志、底层算法优化等场景中至关重要。本文将从基础概念到高级应用，全面解析Python整...

强化学习的改进只是「噪音」?最新预警:冷静看待推理模型进展

机器之心报道编辑：蛋酱、+0「推理」已成为语言模型的下一个主要前沿领域，近期学术界和工业界都取得了突飞猛进的进展。在探索的过程中，一个核心的议题是：对于模型推理性能的提升来说，什么有效？什么无效？De...

了解python3新特性-3（python3介绍）

以下是Python3的其他一些特性：改进了asyncio.run()：Python3.7中对asyncio.run()函数进行了改进，可以方便地处理异步任务异常。新增了typing....

python GIL全局解释器锁原理、功能及应用示例

GIL（GlobalInterpreterLock）是Python解释器中的一个机制，它是一把全局锁，用于在同一时间内限制只有一个线程执行Python字节码。以下是GIL的原理、功能以及5个示例：...

python3-运算符优先级（python语言运算符优先级）

#挑战30天在头条写日记#Python运算符优先级以下列出了从最高到最低优先级的所有运算符，相同单元格内的运算符具有相同优先级。运算符均指二元运算，除非特别指出。相同单元格内的运算符从左至右分组...

如何在 Python 中使用 Notion API?

如何在Python中使用NotionAPI并自动编辑数据库。设置NotionAPI和数据库首先，让我们在Notion板中创建一个完整的页面数据库。在本文中，我使用了一个来自我的一个数据库的真实示...

一文了解 Python 的临时文件模块（python tmpfile）

Python的Tempfile模块是用于创建临时文件和文件夹的标准库。当我们需要临时存储数据时，可以创建临时文件，这些文件位于单独的目录中，该目录因操作系统而异，并且这些文件的名称是唯一的。在...

一文带您精通Python 集合(Set):8个不可不知的技巧及示例

在Python中，集合（Set）与列表（List）、字典（Dict）、元组（Tuple）一起构成了基本的数据结构。集合以其独特的无序性和元素唯一性，在处理数据时具有独特的优势。然而，很多人对集合的...

数据类型的"变形记":解锁Python数据处理效率的关键钥匙

在日常编程中，数据就像流动的河水，而数据类型就是塑造河道的模具。当我们从用户输入、文件读取或网络请求中获取数据时，往往需要像侦探一样验证它们的真实身份，再像魔术师一样将它们转换成需要的形态。这就是数据...

大学 Python 程序设计实验报告:基于组合数据类型

一、实验目的编写Python程序，实现对简单文本的处理，掌握列表、元组、字典等组合类型的应用。二、实验要求掌握字符串的输入和输出。掌握使用切片的方式访问字符串中的值。掌握常见的字符串内建函数的应用。...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.