Python 进程:掌控并发世界的钥匙

off999 2025-04-29 03:19 53 浏览 0 评论

Python 进程：掌控并发世界的钥匙

引言

进程，作为一种操作系统的基本调度单元，它不仅能够独立执行程序，还支持并发操作，这对于提升程序效率、改善用户体验至关重要。特别是在Python这样的解释型语言中，由于全局解释器锁（GIL）的存在，使得多线程在CPU密集型任务上的表现不如预期。此时，利用多进程便成为了一种有效的解决策略。

基础语法介绍

在Python中创建一个新进程非常直观。multiprocessing模块提供了所有必要的工具来轻松管理和控制进程。让我们从最基本的操作开始学习：

创建与启动进程

from multiprocessing import Process

def worker(name):
    print(f'Hello, I am {name}!')

if __name__ == '__main__':
    # 创建一个子进程
    p = Process(target=worker, args=('Worker 1',))
    # 启动进程
    p.start()
    # 等待子进程结束
    p.join()

上述代码展示了如何定义一个简单的函数worker并在一个新进程中执行它。通过Process类创建进程对象时，需要指定目标函数以及传递给该函数的参数。最后，使用start()方法启动进程，并通过join()等待其完成。

基础实例

接下来，我们通过一个更具体的例子来看看如何利用多个进程来加速数据处理流程：

假设我们需要对大量图片进行压缩处理。如果逐一进行，则耗时过长；而若能同时处理多张图片，效率将大大提高。

from multiprocessing import Pool
import os, time, random

def long_time_task(name):
    print('Run task %s (%s)...' % (name, os.getpid()))
    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()
    print('Task %s runs %0.2f seconds.' % (name, (end - start)))

if __name__ == '__main__':
    print('Parent process %s.' % os.getpid())
    p = Pool(4)  # 创建含有四个工作进程的进程池
    for i in range(5):
        p.apply_async(long_time_task, args=(i,))
    print('Waiting for all subprocesses done...')
    p.close()  # 关闭进程池，表示不能再往里面添加新的任务了
    p.join()   # 等待所有子进程结束
    print('All subprocesses done.')

这里我们使用了Pool类来创建一个包含四个工作进程的进程池。每个任务都将异步地分配给池中的空闲进程执行。当所有任务完成后，主程序继续往下执行。

进阶实例

在实际开发中，我们可能需要更复杂的进程间通信机制。例如，在分布式爬虫系统中，我们需要一个中心节点来分发任务给各个工作节点，并收集结果。这通常可以通过共享内存、队列等方式实现：

from multiprocessing import Manager, Process

def f(d, l):
    d[1] = '1'
    d['2'] = 2
    d[0.25] = None  # 注意字典键可以是任意类型
    l.reverse()

if __name__ == '__main__':
    manager = Manager()
    d = manager.dict()
    l = manager.list(range(10))

    p = Process(target=f, args=(d, l))
    p.start()
    p.join()

    print(d)
    print(l)

此例展示了如何利用Manager对象来创建可以在不同进程之间共享的数据结构。