百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Python进阶-day11:并发编程基础(python处理高并发)

off999 2025-06-08 23:24 61 浏览 0 评论

一、学习目标

  1. 理解线程和进程的区别及其应用场景。
  2. 掌握 Python 中 threading 模块的基本用法。
  3. 能够编写一个多线程下载器,应用并发编程知识。

二、学习内容与时间安排

上午(2小时):理论学习

1. 理解线程与进程的区别(0.5小时)

  • 学习目标:掌握线程和进程的基本概念及其差异。
  • 内容进程:操作系统分配资源的基本单位,具有独立的内存空间,进程间通信较复杂。 线程:进程内的执行单元,共享进程的内存空间,线程间通信更高效。 Python 中的 GIL(全局解释器锁):限制多线程在 CPU 密集型任务中的并行性,适合 I/O 密集型任务。
  • 练习:阅读文档,记录线程和进程的优缺点。

2. 学习 threading 模块的基本使用(1小时)

  • 学习目标:掌握线程的创建、启动和同步。
  • 内容
    • threading.Thread:创建线程。
    • start() 和 join():启动线程和等待线程结束。
    • Lock:线程同步工具,避免资源竞争。
  • 代码示例:python
import threading  # 导入 threading 模块
import time       # 导入 time 模块,用于模拟耗时操作

def worker(name):
    """线程工作函数,模拟一个简单的任务"""
    print(f"线程 {name} 开始执行")
    time.sleep(2)  # 模拟耗时操作
    print(f"线程 {name} 执行完成")

# 创建两个线程
t1 = threading.Thread(target=worker, args=("A",))
t2 = threading.Thread(target=worker, args=("B",))

# 启动线程
t1.start()
t2.start()

# 等待所有线程完成
t1.join()
t2.join()

print("所有线程执行完毕")
    • 输出示例
线程 A 开始执行
线程 B 开始执行
线程 A 执行完成
线程 B 执行完成
所有线程执行完毕

3. 复习与总结(0.5小时)

  • 比较线程和进程的使用场景: 线程:适合 I/O 密集型任务(如网络请求、文件读写)。 进程:适合 CPU 密集型任务(如计算密集型操作)。
  • 阅读 threading 模块文档,记录常用方法。

下午(2小时):实践与编程

1. 基础练习(1小时)

  • 编写代码:
    • 创建 3 个线程,分别打印 1-10 的数字。
    • 使用 Lock 确保输出不混乱。
  • 代码示例:python
import threading  # 导入 threading 模块

# 创建一个锁对象,用于同步线程
lock = threading.Lock()

def print_numbers(thread_name):
    """线程函数,打印 1-10 的数字"""
    with lock:  # 使用锁确保输出顺序
        for i in range(1, 11):
            print(f"{thread_name}: {i}")

# 创建 3 个线程
threads = []
for name in ["线程1", "线程2", "线程3"]:
    t = threading.Thread(target=print_numbers, args=(name,))
    threads.append(t)
    t.start()

# 等待所有线程完成
for t in threads:
    t.join()

print("所有线程执行完毕")

2. 项目练习:多线程下载器(1小时)

  • 任务:编写一个多线程下载器,从多个 URL 下载文件。
  • 要求:使用 threading 模块实现并发下载,使用 requests 模块获取文件。
  • 代码示例(带注释)**:python
import threading  # 导入 threading 模块,用于创建线程
import requests   # 导入 requests 模块,用于下载文件
import time       # 导入 time 模块,用于记录下载时间

# 下载锁,确保文件写入安全
download_lock = threading.Lock()

def download_file(url, filename):
    """
    下载文件的线程函数
    参数:
        url (str): 文件的下载地址
        filename (str): 保存的文件名
    """
    print(f"开始下载 {url} 到 {filename}")
    start_time = time.time()  # 记录开始时间

    try:
        # 发送 HTTP GET 请求下载文件
        response = requests.get(url, timeout=10)
        response.raise_for_status()  # 检查请求是否成功

        # 使用锁确保文件写入不冲突
        with download_lock:
            with open(filename, "wb") as f:
                f.write(response.content)

        # 计算下载耗时
        elapsed_time = time.time() - start_time
        print(f"{filename} 下载完成,耗时 {elapsed_time:.2f} 秒")

    except requests.RequestException as e:
        print(f"下载 {url} 失败: {e}")

# 主程序
if __name__ == "__main__":
    # 定义下载任务列表:URL 和目标文件名
    download_tasks = [
        ("https://example.com/file1.txt", "file1.txt"),
        ("https://example.com/file2.txt", "file2.txt"),
        ("https://example.com/file3.txt", "file3.txt"),
    ]

    # 创建线程列表
    threads = []
    start_time = time.time()  # 记录总开始时间

    # 为每个下载任务创建并启动线程
    for url, filename in download_tasks:
        t = threading.Thread(target=download_file, args=(url, filename))
        threads.append(t)
        t.start()

    # 等待所有线程完成
    for t in threads:
        t.join()

    # 计算总耗时
    total_time = time.time() - start_time
    print(f"所有文件下载完成,总耗时 {total_time:.2f} 秒")
    • 说明: 使用 threading.Thread 创建多个线程并发下载。 使用 download_lock 确保文件写入时不发生冲突。 requests.get 下载文件,保存到本地。
    • 注意:运行此代码需安装 requests 模块(pip install requests),并将 URL 替换为真实可用的文件地址(如图片或文本文件)。

三、学习资源

  • Python 官方文档: threading 模块:https://docs.python.org/3/library/threading.html requests 模块:https://docs.python-requests.org/
  • 参考书籍:《Python 并发编程实战》。

四、代码说明

  1. 基础练习代码: 使用 Lock 确保多个线程的输出不混乱。
  2. 多线程下载器代码: 每个线程负责下载一个文件,Lock 保护文件写入操作。 记录每个文件和总体的下载时间,展示并发效果。

五、学习成果检验

  • 运行基础练习代码,观察线程输出是否有序。
  • 运行多线程下载器,下载多个文件,比较单线程和多线程的耗时差异。
  • 修改下载器代码,尝试添加进度条或错误重试功能。

通过本学习计划,您将掌握线程与进程的区别,熟练使用 threading 模块,并通过多线程下载器实践并发编程的核心概念。理论学习结合代码示例,确保您理解线程的创建、同步和应用场景。完成计划后,您可以进一步探索 multiprocessing 模块,扩展到进程级并发编程。

相关推荐

大文件传不动?WinRAR/7-Zip 入门到高手,这 5 个技巧让你效率翻倍

“这200张照片怎么传给女儿?微信发不了,邮箱附件又超限……”62岁的张阿姨对着电脑犯愁时,儿子只用了3分钟就把照片压缩成一个文件,还教她:“以后用压缩软件,比打包行李还方便!”职场人更懂这...

电脑解压缩软件推荐——7-Zip:免费、高效、简洁的文件管理神器

在日常工作中,我们经常需要处理压缩文件。无论是下载软件包、接收文件,还是存储大量数据,压缩和解压缩文件都成为了我们日常操作的一部分。而说到压缩解压软件,7-Zip绝对是一个不可忽视的名字。今天,我就来...

设置了加密密码zip文件要如何打开?这几个方法可以试试~

Zip是一种常见的压缩格式文件,文件还可以设置密码保护。那设置了密码的Zip文件要如何打开呢?不清楚的小伙伴一起来看看吧。当我们知道密码想要打开带密码的Zip文件,我们需要用到适用于Zip格式的解压缩...

大文件想要传输成功,怎么把ZIP文件分卷压缩

不知道各位小伙伴有没有这样的烦恼,发送很大很大的压缩包会受到限制,为此,想要在压缩过程中将文件拆分为几个压缩包并且同时为所有压缩包设置加密应该如何设置?方法一:使用7-Zip免费且强大的文件管理工具7...

高效处理 RAR 分卷压缩包:合并解压操作全攻略

在文件传输和存储过程中,当遇到大文件时,我们常常会使用分卷压缩的方式将其拆分成多个较小的压缩包,方便存储和传输。RAR作为一种常见的压缩格式,分卷压缩包的使用频率也很高。但很多人在拿到RAR分卷...

2个方法教你如何删除ZIP压缩包密码

zip压缩包设置了加密密码,每次解压文件都需要输入密码才能够顺利解压出文件,当压缩包文件不再需要加密的时候,大家肯定想删除压缩包密码,或是忘记了压缩包密码,想要通过删除操作将压缩包密码删除,就能够顺利...

速转!漏洞预警丨压缩软件Winrar目录穿越漏洞

WinRAR是一款功能强大的压缩包管理器,它是档案工具RAR在Windows环境下的图形界面。该软件可用于备份数据,缩减电子邮件附件的大小,解压缩从Internet上下载的RAR、ZIP及其它类...

文件解压方法和工具分享_文件解压工具下载

压缩文件减少文件大小,降低文件失效的概率,总得来说好处很多。所以很多文件我们下载下来都是压缩软件,很多小伙伴不知道怎么解压,或者不知道什么工具更好,所以今天做了文件解压方法和工具的分享给大家。一、解压...

[python]《Python编程快速上手:让繁琐工作自动化》学习笔记3

1.组织文件笔记(第9章)(代码下载)1.1文件与文件路径通过importshutil调用shutil模块操作目录,shutil模块能够在Python程序中实现文件复制、移动、改名和删除;同时...

Python内置tarfile模块:读写 tar 归档文件详解

一、学习目标1.1学习目标掌握Python内置模块tarfile的核心功能,包括:理解tar归档文件的原理与常见压缩格式(gzip/bz2/lzma)掌握tar文件的读写操作(创建、解压、查看、过滤...

使用python展开tar包_python拓展

类Unix的系统,打包文件经常使用的就是tar包,结合zip工具,可以方便的打包并解压。在python的标准库里面有tarfile库,可以方便实现生成了展开tar包。使用这个库最大的好处,可能就在于不...

银狐钓鱼再升级:白文件脚本化实现GO语言后门持久驻留

近期,火绒威胁情报中心监测到一批相对更为活跃的“银狐”系列变种木马。火绒安全工程师第一时间获取样本并进行分析。分析发现,该样本通过阿里云存储桶下发恶意文件,采用AppDomainManager进行白利...

ZIP文件怎么打开?2个简单方法教你轻松搞定!

在日常工作和生活中,我们经常会遇到各种压缩文件,其中最常见的格式之一就是ZIP。ZIP文件通过压缩数据来减少文件大小,方便我们进行存储和传输。然而,对于初学者来说,如何打开ZIP文件可能会成为一个小小...

Ubuntu—解压多个zip压缩文件.zip .z01 .z02

方法将所有zip文件放在同一目录中:zip_file.z01,zip_file.z02,zip_file.z03,...,zip_file.zip。在Zip3.0版本及以上,使用下列命令:将所有zi...

如何使用7-Zip对文件进行加密压缩

7-Zip是一款开源的文件归档工具,支持多种压缩格式,并提供了对压缩文件进行加密的功能。使用7-Zip可以轻松创建和解压.7z、.zip等格式的压缩文件,并且可以通过设置密码来保护压缩包中的...

取消回复欢迎 发表评论: