百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python进阶-day11:并发编程基础(python处理高并发)

off999 2025-06-08 23:24 32 浏览 0 评论

一、学习目标

  1. 理解线程和进程的区别及其应用场景。
  2. 掌握 Python 中 threading 模块的基本用法。
  3. 能够编写一个多线程下载器,应用并发编程知识。

二、学习内容与时间安排

上午(2小时):理论学习

1. 理解线程与进程的区别(0.5小时)

  • 学习目标:掌握线程和进程的基本概念及其差异。
  • 内容进程:操作系统分配资源的基本单位,具有独立的内存空间,进程间通信较复杂。 线程:进程内的执行单元,共享进程的内存空间,线程间通信更高效。 Python 中的 GIL(全局解释器锁):限制多线程在 CPU 密集型任务中的并行性,适合 I/O 密集型任务。
  • 练习:阅读文档,记录线程和进程的优缺点。

2. 学习 threading 模块的基本使用(1小时)

  • 学习目标:掌握线程的创建、启动和同步。
  • 内容
    • threading.Thread:创建线程。
    • start() 和 join():启动线程和等待线程结束。
    • Lock:线程同步工具,避免资源竞争。
  • 代码示例:python
import threading  # 导入 threading 模块
import time       # 导入 time 模块,用于模拟耗时操作

def worker(name):
    """线程工作函数,模拟一个简单的任务"""
    print(f"线程 {name} 开始执行")
    time.sleep(2)  # 模拟耗时操作
    print(f"线程 {name} 执行完成")

# 创建两个线程
t1 = threading.Thread(target=worker, args=("A",))
t2 = threading.Thread(target=worker, args=("B",))

# 启动线程
t1.start()
t2.start()

# 等待所有线程完成
t1.join()
t2.join()

print("所有线程执行完毕")
    • 输出示例
线程 A 开始执行
线程 B 开始执行
线程 A 执行完成
线程 B 执行完成
所有线程执行完毕

3. 复习与总结(0.5小时)

  • 比较线程和进程的使用场景: 线程:适合 I/O 密集型任务(如网络请求、文件读写)。 进程:适合 CPU 密集型任务(如计算密集型操作)。
  • 阅读 threading 模块文档,记录常用方法。

下午(2小时):实践与编程

1. 基础练习(1小时)

  • 编写代码:
    • 创建 3 个线程,分别打印 1-10 的数字。
    • 使用 Lock 确保输出不混乱。
  • 代码示例:python
import threading  # 导入 threading 模块

# 创建一个锁对象,用于同步线程
lock = threading.Lock()

def print_numbers(thread_name):
    """线程函数,打印 1-10 的数字"""
    with lock:  # 使用锁确保输出顺序
        for i in range(1, 11):
            print(f"{thread_name}: {i}")

# 创建 3 个线程
threads = []
for name in ["线程1", "线程2", "线程3"]:
    t = threading.Thread(target=print_numbers, args=(name,))
    threads.append(t)
    t.start()

# 等待所有线程完成
for t in threads:
    t.join()

print("所有线程执行完毕")

2. 项目练习:多线程下载器(1小时)

  • 任务:编写一个多线程下载器,从多个 URL 下载文件。
  • 要求:使用 threading 模块实现并发下载,使用 requests 模块获取文件。
  • 代码示例(带注释)**:python
import threading  # 导入 threading 模块,用于创建线程
import requests   # 导入 requests 模块,用于下载文件
import time       # 导入 time 模块,用于记录下载时间

# 下载锁,确保文件写入安全
download_lock = threading.Lock()

def download_file(url, filename):
    """
    下载文件的线程函数
    参数:
        url (str): 文件的下载地址
        filename (str): 保存的文件名
    """
    print(f"开始下载 {url} 到 {filename}")
    start_time = time.time()  # 记录开始时间

    try:
        # 发送 HTTP GET 请求下载文件
        response = requests.get(url, timeout=10)
        response.raise_for_status()  # 检查请求是否成功

        # 使用锁确保文件写入不冲突
        with download_lock:
            with open(filename, "wb") as f:
                f.write(response.content)

        # 计算下载耗时
        elapsed_time = time.time() - start_time
        print(f"{filename} 下载完成,耗时 {elapsed_time:.2f} 秒")

    except requests.RequestException as e:
        print(f"下载 {url} 失败: {e}")

# 主程序
if __name__ == "__main__":
    # 定义下载任务列表:URL 和目标文件名
    download_tasks = [
        ("https://example.com/file1.txt", "file1.txt"),
        ("https://example.com/file2.txt", "file2.txt"),
        ("https://example.com/file3.txt", "file3.txt"),
    ]

    # 创建线程列表
    threads = []
    start_time = time.time()  # 记录总开始时间

    # 为每个下载任务创建并启动线程
    for url, filename in download_tasks:
        t = threading.Thread(target=download_file, args=(url, filename))
        threads.append(t)
        t.start()

    # 等待所有线程完成
    for t in threads:
        t.join()

    # 计算总耗时
    total_time = time.time() - start_time
    print(f"所有文件下载完成,总耗时 {total_time:.2f} 秒")
    • 说明: 使用 threading.Thread 创建多个线程并发下载。 使用 download_lock 确保文件写入时不发生冲突。 requests.get 下载文件,保存到本地。
    • 注意:运行此代码需安装 requests 模块(pip install requests),并将 URL 替换为真实可用的文件地址(如图片或文本文件)。

三、学习资源

  • Python 官方文档: threading 模块:https://docs.python.org/3/library/threading.html requests 模块:https://docs.python-requests.org/
  • 参考书籍:《Python 并发编程实战》。

四、代码说明

  1. 基础练习代码: 使用 Lock 确保多个线程的输出不混乱。
  2. 多线程下载器代码: 每个线程负责下载一个文件,Lock 保护文件写入操作。 记录每个文件和总体的下载时间,展示并发效果。

五、学习成果检验

  • 运行基础练习代码,观察线程输出是否有序。
  • 运行多线程下载器,下载多个文件,比较单线程和多线程的耗时差异。
  • 修改下载器代码,尝试添加进度条或错误重试功能。

通过本学习计划,您将掌握线程与进程的区别,熟练使用 threading 模块,并通过多线程下载器实践并发编程的核心概念。理论学习结合代码示例,确保您理解线程的创建、同步和应用场景。完成计划后,您可以进一步探索 multiprocessing 模块,扩展到进程级并发编程。

相关推荐

Python Flask 容器化应用链路可观测

简介Flask是一个基于Python的轻量级Web应用框架,因其简洁灵活而被称为“微框架”。它提供了Web开发所需的核心功能,如请求处理、路由管理等,但不会强制开发者使用特定的工具或库。...

Python GUI应用开发快速入门(python开发软件教程)

一、GUI开发基础1.主流GUI框架对比表1PythonGUI框架比较框架特点适用场景学习曲线Tkinter内置库,简单小型应用,快速原型平缓PyQt功能强大,商用许可专业级桌面应用陡峭PySi...

【MCP实战】Python构建MCP应用全攻略:从入门到实战!

实战揭秘:Python Toga 打造跨平台 GUI 应用的神奇之旅

在Python的世界里,GUI(图形用户界面)开发工具众多,但要找到一款真正跨平台、易于使用且功能强大的工具并不容易。今天,我们就来深入探讨一下Toga——一款Python原生、操作系统原...

python应用目录规划(python的目录)

Python大型应用目录结构规划(企业级最佳实践)核心原则模块化:按业务功能拆分,高内聚低耦合可扩展性:支持插件机制和动态加载环境隔离:清晰区分开发/测试/生产环境自动化:内置标准化的构建测试部署流...

Python图形化应用开发框架:PyQt开发简介

PyQt概述定义:PyQt是Python绑定Qt框架的工具集,用于开发跨平台GUI应用程序原理:通过Qt的C++库提供底层功能,PyQt使用SIP工具生成Python绑定特点:支持Windows/ma...

[python] 基于PyOD库实现数据异常检测

PyOD是一个全面且易于使用的Python库,专门用于检测多变量数据中的异常点或离群点。异常点是指那些与大多数数据点显著不同的数据,它们可能表示错误、噪声或潜在的有趣现象。无论是处理小规模项目还是大型...

Python、Selenium 和 Allure 进行 UI 自动化测试的简单示例脚本

环境准备确保你已经安装了以下库:SeleniumAllurepytest你可以使用以下命令安装所需库:pipinstallseleniumallure-pytestpytest示例代码下面的代...

LabVIEW 与 Python 融合:打造强大测试系统的利器

在现代测试系统开发领域,LabVIEW和Python各自凭借独特优势占据重要地位。LabVIEW以图形化编程、仪器控制和实时系统开发能力见长;Python则凭借丰富的库资源、简洁语法和强大数...

软件测试进阶之自动化测试——python+appium实例

扼要:1、了解python+appium进行APP的自动化测试实例;2、能根据实例进行实训操作;本课程主要讲述用python+appium对APP进行UI自动化测试的例子。appium支持Androi...

Python openpyxl:读写样式Excel一条龙,测试报表必备!

无论你是测试工程师、数据分析师,还是想批量导出Excel的自动化工作者,只需一个库openpyxl,即可高效搞定Excel的各种需求!为什么选择openpyxl?支持.xlsx格式...

Python + Pytest 测试框架——数据驱动

引言前面已经和大家介绍过Unittest测试框架的数据驱动框架DDT,以及其实现原理。今天和大家分享的是Pytest测试框架的数据驱动,Pytest测试框架的数据驱动是由pytest自...

这款开源测试神器,圆了我玩游戏不用动手的梦想

作者:HelloGitHub-Anthony一天我在公司用手机看游戏直播,同事问我在玩什么游戏?我和他说在看直播,他恍然大悟:原来如此,我还纳闷你玩游戏,咋不用动手呢。。。。一语惊醒梦中人:玩游戏不用...

Python单元测试框架对比(pycharm 单元测试)

一、核心框架对比特性unittest(标准库)pytest(主流第三方)nose2(unittest扩展)doctest(文档测试)安装Python标准库pipinstallpytestp...

利用机器学习,进行人体33个2D姿态检测与评估

前几期的文章,我们分享了人脸468点检测与人手28点检测的代码实现过程,本期我们进行人体姿态的检测与评估通过视频进行人体姿势估计在各种应用中起着至关重要的作用,例如量化体育锻炼,手语识别和全身手势控制...

取消回复欢迎 发表评论: