解锁Python并发编程:多线程和多进程的神秘面纱揭晓
off999 2025-04-29 03:19 7 浏览 0 评论
欢迎来到我们的系列博客《Python全景系列》!在这个系列中,我们将带领你从Python的基础知识开始,一步步深入到高级话题,帮助你掌握这门强大而灵活的编程语法。无论你是编程新手,还是有一定基础的开发者,这个系列都将提供你需要的知识和技能。
这是本系列的第五篇,我们将深入探讨Python中的并发编程,特别关注多线程和多进程的应用。我们将先从基本概念开始,然后通过详细举例探讨每一种机制,最后分享一些实战经验以及一种优雅的编程技巧。
第一部分:多线程介绍
线程是操作系统中最小的执行单元。在单个程序或进程内,可以并发运行多个线程,共享进程的资源,如内存和文件描述符。
1.1 Python中的多线程
Python支持多线程编程,并提供了threading模块作为支持。这个模块提供了Thread类,我们可以通过创建其实例并向其传递函数来创建新线程。当然,你也可以通过继承Thread类并重写run()方法来创建自定义线程。下面是一个多线程编程的例子:
import threading
def print_numbers():
for i in range(10):
print(i)
def print_letters():
for letter in 'abcdefghij':
print(letter)
# 创建线程
t1 = threading.Thread(target=print_numbers)
t2 = threading.Thread(target=print_letters)
# 启动线程
t1.start()
t2.start()
# 等待线程结束
t1.join()
t2.join()
在上面的例子中,我们定义了两个函数:一个打印数字,另一个打印字母。然后我们创建了两个线程,每个线程的目标是执行这些函数。start()方法用于启动线程,而join()方法用于等待线程完成。
1.2 多线程的实际应用
尽管Python的多线程因为全局解释器锁(GIL)的存在,并不能实现真正的并行,但是它们在I/O密集型任务中仍然很有用。GIL是CPython解释器的一个互斥锁,保证在任何时刻只有一个线程在执行。这意味着在CPU密集型任务中,多线程可能不是最佳选择,因为它们无法充分利用多核CPU。
然而,在I/O密集型任务中,多线程能够提高程序性能。例如,如果一个程序需要从多个源下载文件,那么使用多线程可以使得当一个线程等待网络响应时,其他线程可以继续下载其他文件。这样,程序可以在同一时间从多个源下载文件,大大提高了效率。
第二部分:多进程介绍
进程是操作系统中独立的执行实体,每个进程都有自己的内存空间、文件描述符等资源。与线程不同,进程之间的资源
并不共享,每个进程都有自己独立的资源。
2.1 Python中的多进程
Python通过multiprocessing模块提供了多进程支持。类似于多线程,我们可以通过创建Process类的实例并向其传递函数来创建新进程。我们也可以通过继承Process类并重写run()方法来创建自定义进程。
以下是一个简单的多进程编程的例子:
import multiprocessing
def print_numbers():
for i in range(10):
print(i)
def print_letters():
for letter in 'abcdefghij':
print(letter)
# 创建进程
p1 = multiprocessing.Process(target=print_numbers)
p2 = multiprocessing.Process(target=print_letters)
# 启动进程
p1.start()
p2.start()
# 等待进程结束
p1.join()
p2.join()
这个例子和前面的多线程例子类似,不同的是这里我们创建的是两个进程,而不是线程。
2.2 多进程的实际应用
多进程可以实现真正的并行,使得Python程序可以利用多核CPU。因此,对于CPU密集型任务,多进程通常比多线程更有优势。另一方面,多进程的开销比多线程大,而且进程间的通信和同步也比线程间的更为复杂。因此,对于I/O密集型任务,或者需要频繁通信的任务,多线程可能会是更好的选择。
第三部分:优化并发编程的技巧
在Python中,concurrent.futures模块为多线程和多进程编程提供了高级接口,可以让我们更加简洁地编写代码。
这个模块提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,它们分别用于创建线程池和进程池。这两个类都实现了相同的接口,你可以使用submit()方法提交任务,然后使用as_completed()函数等待任务完成。
下面是一个使用concurrent.futures模块的示例:
import concurrent.futures
def print_numbers():
for i in range(10):
print(i)
def print_letters():
for letter in 'abcdefghij':
print(letter)
# 使用线程池
with concurrent.futures.ThreadPoolExecutor() as executor:
future1 = executor.submit(print_numbers)
future2 = executor.submit(print_letters)
for future in concurrent.futures.as_completed([future1, future2]):
pass
# 使用进程池
with concurrent.futures.ProcessPoolExecutor() as executor:
future1 = executor.submit(print_numbers)
future2 = executor.submit(print_letters)
for future in concurrent.futures.as_completed([future1, future2]):
pass
```
在上面的例子中,我们创建了线程池和进程池,然后向它们提交任务。可以看到,使用`concurrent.futures`模块,我们的代码更加简洁,易读性和可维护性也有所提高。
# 总结
Python的多线程和多进程都是非常强大的工具,可以帮助我们编写出更高效的程序。然而,它们也各有优缺点,需要我们根据具体的任务和需求来选择。同时,Python还提供了`concurrent.futures`模块,可以使我们的并发编程变得更加简单和高效。
我们希望本文能帮助你更好地理解和使用Python的多线程和多进程。如果你有任何疑问或者建议,欢迎在评论区留言。
**【第一时间获得Python全视角更新信息,请关注本人微信公众号: Python全视角】**
相关推荐
- 还不会deepseek部署到本地?这篇教程手把手教会你
-
一、为什么要把DeepSeek部署到本地?新手必看的前置知识近期很多读者在后台询问AI工具本地部署的问题,今天以国产优质模型DeepSeek为例,手把手教你实现本地化部署。本地部署有三大优势:数据隐私...
- 推荐个超实用的Python标准库pathlib,玩转路径操作
-
pathlib学习Python时,尤其是在进行文件操作和数据处理时,经常会处理路径问题。最常用和常见的是os.path模块,它将路径当做字符串进行处理,如果使用不当可能导致难以察觉的错误,而且...
- python中文件读写操作最佳实践——使用 os.path 进行路径操作
-
在Python中处理文件路径时,使用os.path模块比直接使用字符串拼接更加安全、可靠且跨平台。下面我将详细解释为什么以及如何使用os.path进行路径操作。为什么不应该使用字符串拼接?#不推荐的...
- Python如何获取当前文件所在目录的完整路径
-
在编程的过程中,我们常常会遇到需要获取当前文件所在目录完整路径的需求。那具体该怎么做呢?这是在众多开发者群体中备受关注的一个问题,就像在问答平台上“/questions/3430372/how-d...
- python编程之神经网络篇(python的神经网络编程)
-
#头条创作挑战赛#神经网络发展到今天大致经历了2次兴起和2次衰落,1943年心理学家McCulloch(麦卡洛克)和数学家Pitts(皮茨)参考生物神经系统的工作原理,首次提出建立了MP神经元模型。其...
- 详解Python整数类型的按位运算(在python中整数)
-
在Python编程中,按位运算是直接对整数的二进制位进行操作的底层运算,虽然不如逻辑运算常见,但在处理位掩码、状态标志、底层算法优化等场景中至关重要。本文将从基础概念到高级应用,全面解析Python整...
- 强化学习的改进只是「噪音」?最新预警:冷静看待推理模型进展
-
机器之心报道编辑:蛋酱、+0「推理」已成为语言模型的下一个主要前沿领域,近期学术界和工业界都取得了突飞猛进的进展。在探索的过程中,一个核心的议题是:对于模型推理性能的提升来说,什么有效?什么无效?De...
- 了解python3新特性-3(python3介绍)
-
以下是Python3的其他一些特性:改进了asyncio.run():Python3.7中对asyncio.run()函数进行了改进,可以方便地处理异步任务异常。新增了typing....
- python GIL全局解释器锁原理、功能及应用示例
-
GIL(GlobalInterpreterLock)是Python解释器中的一个机制,它是一把全局锁,用于在同一时间内限制只有一个线程执行Python字节码。以下是GIL的原理、功能以及5个示例:...
- python3-运算符优先级(python语言运算符优先级)
-
#挑战30天在头条写日记#Python运算符优先级以下列出了从最高到最低优先级的所有运算符,相同单元格内的运算符具有相同优先级。运算符均指二元运算,除非特别指出。相同单元格内的运算符从左至右分组...
- 如何在 Python 中使用 Notion API?
-
如何在Python中使用NotionAPI并自动编辑数据库。设置NotionAPI和数据库首先,让我们在Notion板中创建一个完整的页面数据库。在本文中,我使用了一个来自我的一个数据库的真实示...
- 一文了解 Python 的临时文件模块(python tmpfile)
-
Python的Tempfile模块是用于创建临时文件和文件夹的标准库。当我们需要临时存储数据时,可以创建临时文件,这些文件位于单独的目录中,该目录因操作系统而异,并且这些文件的名称是唯一的。在...
- 一文带您精通Python 集合(Set):8个不可不知的技巧及示例
-
在Python中,集合(Set)与列表(List)、字典(Dict)、元组(Tuple)一起构成了基本的数据结构。集合以其独特的无序性和元素唯一性,在处理数据时具有独特的优势。然而,很多人对集合的...
- 数据类型的"变形记":解锁Python数据处理效率的关键钥匙
-
在日常编程中,数据就像流动的河水,而数据类型就是塑造河道的模具。当我们从用户输入、文件读取或网络请求中获取数据时,往往需要像侦探一样验证它们的真实身份,再像魔术师一样将它们转换成需要的形态。这就是数据...
- 大学 Python 程序设计实验报告:基于组合数据类型
-
一、实验目的编写Python程序,实现对简单文本的处理,掌握列表、元组、字典等组合类型的应用。二、实验要求掌握字符串的输入和输出。掌握使用切片的方式访问字符串中的值。掌握常见的字符串内建函数的应用。...
你 发表评论:
欢迎- 一周热门
-
-
python 3.8调用dll - Could not find module 错误的解决方法
-
加密Python源码方案 PyArmor(python项目源码加密)
-
Python3.8如何安装Numpy(python3.6安装numpy)
-
大学生机械制图搜题软件?7个受欢迎的搜题分享了
-
编写一个自动生成双色球号码的 Python 小脚本
-
免费男女身高在线计算器,身高计算公式
-
将python文件打包成exe程序,复制到每台电脑都可以运行
-
Python学习入门教程,字符串函数扩充详解
-
Python数据分析实战-使用replace方法模糊匹配替换某列的值
-
Python进度条显示方案(python2 进度条)
-
- 最近发表
- 标签列表
-
- python计时 (54)
- python安装路径 (54)
- python类型转换 (75)
- python进度条 (54)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python斐波那契数列 (51)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)