当前位置：首页 > news >正文

Python并发编程的三种方式：多线程(threading)、多进程(multiprocessing)，以及基于协程的异步I/O(asyncio)

news 来源：原创 2025/5/10 8:54:45

在Python中，多线程、多进程和基于协程的异步I/O是实现并发编程的三种主要方法。每种方法都有其特定的使用场景和优势。理解这些不同方法的基础原理和适用情境对于编写高效、可扩展的Python程序至关重要。

多线程（`threading`）

概念：多线程允许程序在同一时间执行多个任务。每个线程代表一个执行序列，这意味着程序可以在一个核心或多个核心上并行执行多个线程。
适用场景：适用于I/O密集型任务，如文件读写、网络请求等，因为在等待I/O操作完成时，其他线程可以继续执行。
限制：由于Python的全局解释器锁（GIL），在执行CPU密集型任务时，多线程可能不会带来性能上的提升，因为GIL限制了同一时间只有一个线程能执行Python字节码。因此，对于计算密集型任务，多线程在多核处理器上并不总是能有效利用多核的优势。

代码实现

使用threading模块创建并启动线程：

import threading
import time

def thread_function(name):
    print(f"Thread {name}: starting")
    time.sleep(2)
    print(f"Thread {name}: finishing")

if __name__ == "__main__":
    print("Main    : before creating thread")
    x = threading.Thread(target=thread_function, args=(1,))
    print("Main    : before running thread")
    x.start()
    print("Main    : wait for the thread to finish")
    # x.join() # Uncomment this to wait for the thread to finish
    print("Main    : all done")

多进程（`multiprocessing`）

概念：多进程通过创建多个进程来实现并发，每个进程在其自己的Python解释器中运行，并且拥有独立的内存空间。
适用场景：适合CPU密集型任务。由于每个进程有自己的GIL和内存空间，多进程能够真正并行地在多核CPU上运行，从而充分利用多核处理器的计算能力。
限制：创建进程的开销比创建线程大，进程间通信（IPC）比线程间通信更复杂、成本更高。因此，对于需要频繁通信的任务，多进程可能不如多线程高效。

代码实现

使用multiprocessing模块创建并启动进程：

from multiprocessing import Process
import os
import time

def process_function(name):
    print(f"Process {name}: starting")
    time.sleep(2)
    print(f"Process {name}: finishing")

if __name__ == '__main__':
    print("Main    : before creating process")
    p = Process(target=process_function, args=(1,))
    print("Main    : before running process")
    p.start()
    print("Main    : wait for the process to finish")
    # p.join() # Uncomment this to wait for the process to finish
    print("Main    : all done")

基于协程的异步I/O（`asyncio`）

概念：asyncio是Python用于编写单线程并发代码的库，通过事件循环和协程实现。协程允许任务在等待I/O操作时挂起，让出控制权给事件循环，以执行其他任务。
适用场景：特别适合I/O密集型应用，如大规模网络爬虫、网络服务器等。在这些应用中，程序经常需要等待外部操作，如网络响应或磁盘I/O，asyncio可以在这些I/O等待时间中执行其他任务，从而提高程序的整体效率。
限制：编写异步代码的复杂性高于同步代码，因为你需要管理事件循环，并使用async和await关键字正确地编写协程。此外，异步编程模型不适用于CPU密集型任务，因为它们主要通过单线程执行。

代码实现

使用asyncio模块实现异步I/O：

import asyncio

async def async_function(name):
    print(f"Task {name}: starting")
    await asyncio.sleep(2)  # 模拟I/O操作
    print(f"Task {name}: finishing")

async def main():
    print("Main    : before creating task")
    # 创建并启动任务
    task1 = asyncio.create_task(async_function(1))
    task2 = asyncio.create_task(async_function(2))
    
    print("Main    : wait for the tasks to finish")
    await task1
    await task2
    print("Main    : all done")

# Python 3.7及以上
asyncio.run(main())

注意事项

在多线程和多进程的示例中，join()方法被注释掉了。如果取消注释，主程序将等待线程或进程完成其任务后再继续执行。这对于理解并发执行与程序等待同步完成的区别很有帮助。
在asyncio的示例中，asyncio.run(main())启动了事件循环，运行了主协程main()，在其中又并发运行了两个异步任务。这演示了异步编程中任务调度和并发执行的基本原理。
这些代码示例旨在展示每种并发模型的基本结构和用法，实际应用中可能需要更复杂的错误处理和性能优化。