快捷導航

解鎖Python并發(fā)編程中多線程與多進程的應(yīng)用

更新時間：2023年05月21日 09:21:02 作者：techlead_krischang

本文我們將先從基本概念開始，然后通過詳細舉例探討每一種機制，特別關(guān)注多線程和多進程的應(yīng)用，最后分享一些實戰(zhàn)經(jīng)驗以及一種優(yōu)雅的編程技巧，希望對大家有所幫助

第一部分：多線程介紹

線程是操作系統(tǒng)中最小的執(zhí)行單元。在單個程序或進程內(nèi)，可以并發(fā)運行多個線程，共享進程的資源，如內(nèi)存和文件描述符。

1.1 Python中的多線程

Python支持多線程編程，并提供了`threading`模塊作為支持。這個模塊提供了`Thread`類，我們可以通過創(chuàng)建其實例并向其傳遞函數(shù)來創(chuàng)建新線程。當然，你也可以通過繼承`Thread`類并重寫`run()`方法來創(chuàng)建自定義線程。下面是一個多線程編程的例子：

import threading

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 創(chuàng)建線程
t1 = threading.Thread(target=print_numbers)
t2 = threading.Thread(target=print_letters)

# 啟動線程
t1.start()
t2.start()

# 等待線程結(jié)束
t1.join()
t2.join()

在上面的例子中，我們定義了兩個函數(shù)：一個打印數(shù)字，另一個打印字母。然后我們創(chuàng)建了兩個線程，每個線程的目標是執(zhí)行這些函數(shù)。`start()`方法用于啟動線程，而`join()`方法用于等待線程完成。

1.2 多線程的實際應(yīng)用

盡管Python的多線程因為全局解釋器鎖（GIL）的存在，并不能實現(xiàn)真正的并行，但是它們在I/O密集型任務(wù)中仍然很有用。GIL是CPython解釋器的一個互斥鎖，保證在任何時刻只有一個線程在執(zhí)行。這意味著在CPU密集型任務(wù)中，多線程可能不是最佳選擇，因為它們無法充分利用多核CPU。

然而，在I/O密集型任務(wù)中，多線程能夠提高程序性能。例如，如果一個程序需要從多個源下載文件，那么使用多線程可以使得當一個線程等待網(wǎng)絡(luò)響應(yīng)時，其他線程可以繼續(xù)下載其他文件。這樣，程序可以在同一時間從多個源下載文件，大大提高了效率。

第二部分：多進程介紹

進程是操作系統(tǒng)中獨立的執(zhí)行實體，每個進程都有自己的內(nèi)存空間、文件描述符等資源。與線程不同，進程之間的資源

并不共享，每個進程都有自己獨立的資源。

2.1 Python中的多進程

Python通過`multiprocessing`模塊提供了多進程支持。類似于多線程，我們可以通過創(chuàng)建`Process`類的實例并向其傳遞函數(shù)來創(chuàng)建新進程。我們也可以通過繼承`Process`類并重寫`run()`方法來創(chuàng)建自定義進程。

以下是一個簡單的多進程編程的例子：

import multiprocessing

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 創(chuàng)建進程
p1 = multiprocessing.Process(target=print_numbers)
p2 = multiprocessing.Process(target=print_letters)

# 啟動進程
p1.start()
p2.start()

# 等待進程結(jié)束
p1.join()
p2.join()

這個例子和前面的多線程例子類似，不同的是這里我們創(chuàng)建的是兩個進程，而不是線程。

2.2 多進程的實際應(yīng)用

多進程可以實現(xiàn)真正的并行，使得Python程序可以利用多核CPU。因此，對于CPU密集型任務(wù)，多進程通常比多線程更有優(yōu)勢。另一方面，多進程的開銷比多線程大，而且進程間的通信和同步也比線程間的更為復(fù)雜。因此，對于I/O密集型任務(wù)，或者需要頻繁通信的任務(wù)，多線程可能會是更好的選擇。

第三部分：優(yōu)化并發(fā)編程的技巧

在Python中，`concurrent.futures`模塊為多線程和多進程編程提供了高級接口，可以讓我們更加簡潔地編寫代碼。

這個模塊提供了`ThreadPoolExecutor`和`ProcessPoolExecutor`兩個類，它們分別用于創(chuàng)建線程池和進程池。這兩個類都實現(xiàn)了相同的接口，你可以使用`submit()`方法提交任務(wù)，然后使用`as_completed()`函數(shù)等待任務(wù)完成。

下面是一個使用`concurrent.futures`模塊的示例：

import concurrent.futures

def print_numbers():
    for i in range(10):
        print(i)

def print_letters():
    for letter in 'abcdefghij':
        print(letter)

# 使用線程池
with concurrent.futures.ThreadPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass

# 使用進程池
with concurrent.futures.ProcessPoolExecutor() as executor:
    future1 = executor.submit(print_numbers)
    future2 = executor.submit(print_letters)
    for future in concurrent.futures.as_completed([future1, future2]):
        pass

在上面的例子中，我們創(chuàng)建了線程池和進程池，然后向它們提交任務(wù)?？梢钥吹?，使用`concurrent.futures`模塊，我們的代碼更加簡潔，易讀性和可維護性也有所提高。