在Python中使用Asyncio系统(3-8)?在关闭过程中等待执行器完成
off999 2024-11-21 19:22 17 浏览 0 评论
在关闭期间等待执行器
在前几节“快速入门”介绍了基本executor接口示例3-3,幸好阻塞的time.sleep()调用比asyncio.sleep()时间更短。因为这意味着执行器任务比main()协程完成得更快,因此程序正确地关闭了。
本节检查当执行器作业的完成时间比所有挂起的Task实例都长时,在关闭期间会发生什么。简单的回答是:如果不进行干预,你会看到像示例3-36中的main()代码所产生的错误。
示例 3-36 执行器需要太长时间才能完成
# quickstart.py
import time
import asyncio
async def main():
loop = asyncio.get_running_loop()
loop.run_in_executor(None, blocking)
print(f'{time.ctime()} Hello!')
await asyncio.sleep(1.0)
print(f'{time.ctime()} Goodbye!')
def blocking():
time.sleep(1.5)
print(f"{time.ctime()} Hello from a thread!")
asyncio.run(main())
- (L13) 这个代码示例与示例3-3中的代码完全相同,除了阻塞函数中的休眠时间现在比异步函数中的更长。
运行这段代码会产生以下输出:
$ python quickstart.py
Fri Jan 24 16:25:08 2020 Hello!
Fri Jan 24 16:25:09 2020 Goodbye!
exception calling callback for <Future at [...snip...]>
Traceback (most recent call last):
<big nasty traceback>
RuntimeError: Event loop is closed
Fri Jan 24 16:25:09 2020 Hello from a thread!
幕后发生的情况是,run_in_executor()不创建Task实例:它只是返回一个Future。这意味着它不包含在asyncio.run()中被取消的“活跃任务”集合中,因此在asyncio.run()中调用的run_until_complete()不用等待执行器任务完成。在asyncio.run()中调用内部loop.close()会引发RuntimeError。
在写这本书的时候,Python 3.8中的loop.close()并不等待所有执行器作业完成,这就是为什么从run_in_executor()返回的Future会报出问题:当它解析时,循环已经关闭。在核心Python开发团队中有关于如何改进这一点的讨论,但在解决方案确定之前,你需要一种处理这些错误的策略。
建议:在Python 3.9中,asyncio.run()函数已得到改进,可以正确地等待执行程序关闭,但在写本文时,还没有将其反向移植到Python 3.8中。
修正这个问题的几个想法,都有不同的取舍,我们将看看其中的几个。我的这个练习的真正目标是帮助你从不同的角度考虑事件循环的生命周期,考虑在一个重要程序中可能进行互操作的所有协程、线程和子进程的生命周期管理。
第一个想法,也是最容易实现的,如例3-37所示,就是总是在协程内部等待一个执行器任务。
示例 3-37 选项A:把执行器调用封装到一个协程中
# quickstart.py
import time
import asyncio
from concurrent.futures import ThreadPoolExecutor as Executor
async def main():
loop = asyncio.get_running_loop()
future = loop.run_in_executor(None, blocking)
try:
print(f'{time.ctime()} Hello!')
await asyncio.sleep(1.0)
print(f'{time.ctime()} Goodbye!')
finally:
await future
def blocking():
time.sleep(2.0)
print(f"{time.ctime()} Hello from a thread!")
try:
asyncio.run(main())
except KeyboardInterrupt:
print('Bye!')
- (L8) 这个想法的目的是修复run_in_executor()只返回一个Future实例而不是一个任务的缺点。我们不能在asyncio.run()中使用all_tasks()捕获作业,但是我们可以在future上使用await。计划的第一部分是在main()函数中创建一个future。
- (L14) 我们可以使用try/finally结构来确保在main()函数返回之前等待future函数完成。
代码可以运行,但是它对执行器函数的生命周期管理有很大的限制:这意味着你必须在创建执行器作业的每个范围内使用try/finally。我们更喜欢以创建异步任务的方式生成执行器作业,并且还让asyncio.run()内部的关机处理执行一个优雅的退出操作。
下一个想法,如例3-38中显示的,这个有点巧妙。因为我们的问题是一个执行器创建一个future而不是一个task,并且asyncio.run()中的关闭处理处理任务,所以我们的下一个计划是将future(由执行器产生)包装在一个新的task对象中。
示例 3-38 选项B:将执行器future添加到收集的任务中
# quickstart.py
import time
import asyncio
from concurrent.futures import ThreadPoolExecutor as Executor
async def make_coro(future):
try:
return await future
except asyncio.CancelledError:
return await future
async def main():
loop = asyncio.get_running_loop()
future = loop.run_in_executor(None, blocking)
asyncio.create_task(make_coro(future))
print(f'{time.ctime()} Hello!')
await asyncio.sleep(1.0)
print(f'{time.ctime()} Goodbye!')
def blocking():
time.sleep(2.0)
print(f"{time.ctime()} Hello from a thread!")
try:
asyncio.run(main())
except KeyboardInterrupt:
print('Bye!')
- (L15) 我们获取run_in_executor()调用返回的future,并把它传递给一个新的功能函数make_coro()。这里重要的一点是,我们正在使用create_task(),这意味着该任务会出现在asyncio.run()要处理关闭的all_tasks()列表中,并将在关闭过程中收到一个取消请求。
- (L6) 这个功能函数make_coro()只是简单地等待future完成,但至关重要的是,即使在CancelledError的异常处理程序中它也继续等待future完成。
这个解决方案在关闭时表现更好,建议你运行这个示例的时候,也就是在打印“Hello!”后立即按下Ctrl-C。关闭步骤还会等待make_coro()退出,这意味着它还将等待执行器作业退出。但是,这段代码非常笨拙,因为必须将每个执行器Future实例包装在make_coro()调用中。
如果我们愿意放弃asyncio.run()函数的便利性(直到Python3.9才能用),我们可以通过自定义循环处理做得更好一点,如示例3-39所示。
示例 3-39 选项C:就像露营一样,带上你自己的循环和执行器
# quickstart.py
import time
import asyncio
from concurrent.futures import ThreadPoolExecutor as Executor
async def main():
print(f'{time.ctime()} Hello!')
await asyncio.sleep(1.0)
print(f'{time.ctime()} Goodbye!')
loop.stop()
def blocking():
time.sleep(2.0)
print(f"{time.ctime()} Hello from a thread!")
loop = asyncio.get_event_loop()
executor = Executor()
loop.set_default_executor(executor)
loop.create_task(main())
future = loop.run_in_executor(None, blocking)
try:
loop.run_forever()
except KeyboardInterrupt:
print('Cancelled')
tasks = asyncio.all_tasks(loop=loop)
for t in tasks:
t.cancel()
group = asyncio.gather(*tasks, return_exceptions=True)
loop.run_until_complete(group)
executor.shutdown(wait=True)
loop.close()
- (L17) 这一次,我们创建自己的执行器实例。
- (L18) 我们必须将自定义执行器设置为循环的默认执行器。这意味着,只要代码调用在run_in_executor()中运行,它就会使用我们的自定义实例。
- (L20) 与前面一样,我们运行blocking函数。
- (L30) 最后,我们可以显式地等待所有执行器作业完成,然后再关闭循环。这将避免我们以前看到的“Event loop is closed”消息。我们可以这样做,因为我们可以访问执行器象;默认执行器未在asyncio API中公开,这就是为什么我们无法对它调用shutdown(),并被迫创建自己的执行器实例。
最后,我们有一个具有普遍适用性的策略:你可以在任何地方调用run_in_executor(),即使在所有异步任务完成后执行器作业仍在运行,你的程序还是会明确地关闭。
我强烈建议你亲手试试使用这个章节里显示的代码示例,尝试不同的策略来创建任务和执行器作业,及时错开它们,并尝试明确地关闭它们。我希望Python的未来版本将允许asyncio.run()函数等待执行器作业完成,但我希望本节中的讨论对你开发明确清晰的关机处理程序的思路会有一定的帮助。
- 上一篇:如何杀死一个Python线程
- 下一篇:Python学习入门(17)—模块(一)
相关推荐
- 推荐一款Python的GUI可视化工具(python 可视化工具)
-
在Python基础语法学习完成后,进一步开发应用界面时,就需要涉及到GUI了,GUI全称是图形用户界面(GraphicalUserInterface,又称图形用户接口),采用图形方式显示的计算机操...
- 教你用Python绘制谷歌浏览器的3种图标
-
前两天在浏览matplotlib官方网站时,笔者无意中看到一个挺有意思的图片,就是用matplotlib制作的火狐浏览器的logo,也就是下面这个东东(网页地址是https://matplotlib....
- 小白学Python笔记:第二章 Python安装
-
Windows操作系统的python安装:Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本,结合自己的使用情况,此处仅记录windows操作系统的python...
- Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字
-
Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字,需先导入Tkinter组...
- 一文吃透Python虚拟环境(python虚拟环境安装和配置)
-
摘要在Python开发中,虚拟环境是一种重要的工具,用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具:venv、virtualenv、pip...
- 小白也可以玩的Python爬虫库,收藏一下
-
最近,微软开源了一个项目叫「playwright-python」,作为一个兴起项目,出现后受到了大家热烈的欢迎,那它到底是什么样的存在呢?今天为你介绍一下这个传说中的小白神器。Playwright是...
- python环境安装+配置教程(python安装后怎么配置环境变量)
-
安装python双击以下软件:弹出一下窗口需选择一些特定的选项默认选项不需要更改,点击next勾选以上选项,点击install进度条安装完毕即可。到以下界面,证明安装成功。接下来安装库文件返回电脑桌面...
- colorama,一个超好用的 Python 库!
-
大家好,今天为大家分享一个超好用的Python库-colorama。Github地址:https://github.com/tartley/coloramaPythoncolorama库是一...
- python制作仪表盘图(python绘制仪表盘)
-
今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表,刻度表示度量,指针表示维度,指针角度表示数值。仪表盘图表就像汽车的速度表一样,有一个圆形的表盘及相应的刻度,有一个指针...
- 总结90条写Python程序的建议(python写作)
-
1.首先 建议1、理解Pythonic概念—-详见Python中的《Python之禅》 建议2、编写Pythonic代码 (1)避免不规范代码,比如只用大小写区分变量、使用容易...
- [oeasy]python0137_相加运算_python之禅_import_this_显式转化
-
变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释,不超过1...
- Python入门学习记录之一:变量(python中变量的规则)
-
写这个,主要是对自己学习python知识的一个总结,也是加深自己的印象。变量(英文:variable),也叫标识符。在python中,变量的命名规则有以下三点:>变量名只能包含字母、数字和下划线...
- 掌握Python的"魔法":特殊方法与属性完全指南
-
在Python的世界里,以双下划线开头和结尾的"魔法成员"(如__init__、__str__)是面向对象编程的核心。它们赋予开发者定制类行为的超能力,让自定义对象像内置类型一样优雅工...
- 11个Python技巧 不Pythonic 实用大于纯粹
-
虽然Python有一套强大的设计哲学(体现在“Python之禅”中),但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念:“实用主义胜于纯粹主义”...
- Python 从入门到精通 第三课 诗意的Python之禅
-
导言:Python之禅,英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表,它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)