python進程池和線程池的區(qū)別

更新時間：2023年12月10日 11:43:34 作者：樂神來了

本文主要介紹了python進程池和線程池的區(qū)別,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

線程池和多線程的區(qū)別：

線程池可以減少線程創(chuàng)建和銷毀的開銷，并控制并發(fā)數量，從而提高系統(tǒng)的性能。多線程可以并發(fā)執(zhí)行程序中的不同任務，提高程序的效率和系統(tǒng)的吞吐量。
如果需要同時處理多個任務并且這些任務之間沒有依賴關系，那么可以選擇多線程；如果需要限制同時執(zhí)行的任務數量或者需要復用線程來避免頻繁創(chuàng)建和銷毀線程的開銷或者當需要執(zhí)行的任務數量很大但是每個任務所需的時間較短并且執(zhí)行時間相對穩(wěn)定，那么可以選擇線程池。

進程池和多進程的區(qū)別：

如果你需要同時執(zhí)行多個不同的任務，使用多進程；如果你需要并行處理多個任務，并且每個任務都是獨立的，那么多進程會是一個不錯的選擇。每個進程都有自己的內存空間和獨立的 CPU 時間，可以避免多個任務之間的相互干擾。
如果你需要限制并發(fā)執(zhí)行任務的數量，使用進程池。如果你的任務數比較大，而且每個任務執(zhí)行時間較短，那么進程池可能更適合。進程池會預先創(chuàng)建一定數量的進程，任務到來時就將其分配給空閑的進程執(zhí)行，避免反復創(chuàng)建和銷毀進程的開銷。

線程池的使用：

from concurrent.futures import ThreadPoolExecutor, as_completed, wait, ALL_COMPLETED


def test(a):
    print(f'一個假的進程任務{a}')
    return a

def add_thread():
    threads_list = [i for i in range(10)]
    th_executor = ThreadPoolExecutor(max_workers=10)
    for i in threads_list:
        # 線程池執(zhí)行任務方法1
        th_executor.submit(test, i)
    # 線程池執(zhí)行任務方法2
    th_executor.map(test, threads_list)

    # 線程池獲取結果方法1：使用as_completed方法，然后用其result屬性輸出結果
    all_thread = [th_executor.submit(test, i) for i in threads_list]
    results1 = [j.result() for j in as_completed(all_thread)]
    print('result1結果:', results1)
	# result1結果: [3, 0, 2, 4, 1, 5, 6, 8, 9, 7]

    # 線程池獲取結果方法2
    results2 = [k for k in th_executor.map(test, threads_list)]
    print('results2結果:', results2)
    # results2結果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

    # 也可以使用等待函數,fs:任務序列;timeout任務最大等待時間,在規(guī)定時間內,任務未執(zhí)行完成也會停止;
    # return_when:wait返回結果的條件，默認為ALL_COMPLETED,全部執(zhí)行完成再返回
    # 譬如,此處以下的代碼是展示wait的用法
    # task_list = th_executor.map(test, threads_list)
    # 等待任務完成
    # wait(task_list)
    # 任務完成之后再進行結果的獲取
    # task_result = [k for k in task_list]


if __name__ == '__main__':

    add_thread()

由result1結果和result2結果可知，使用submit方法執(zhí)行任務的順序是不固定的，使用map方法執(zhí)行任務的順序是固定的。

進程池的用法：和線程池是一樣的；進程池用的是with方法去展示的，也可以用線程池的那種方法是使用，當然線程池的也可以用with方法去使用。

from concurrent.futures import ProcessPoolExecutor, as_completed, wait, ALL_COMPLETED

def test(a):
    print(f'一個假的線程任務{a}')
    return a

def add_process():
    with ProcessPoolExecutor(max_workers=8) as pool:
        process_list = [i for i in range(10)]
        for i in process_list:
            # 進程池執(zhí)行任務方法1
            pool.submit(test, i)
        # 進程池執(zhí)行任務方法2
        pool.map(test, process_list)

        # 進程池獲取結果方法1：使用as_completed方法，然后用其result屬性輸出結果
        all_process = [pool.submit(test, i) for i in process_list]
        results1 = [j.result() for j in as_completed(all_process)]
        print('result1結果:', results1)
        # results1結果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

        # 進程池獲取結果方法2
        results2 = [k for k in pool.map(test, process_list)]
        print('results2結果:', results2)
    	# results2結果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

        # 也可以使用等待函數,fs:任務序列;timeout任務最大等待時間,在規(guī)定時間內,任務未執(zhí)行完成也會停止;
        # return_when:wait返回結果的條件，默認為ALL_COMPLETED,全部執(zhí)行完成再返回
        # 譬如,此處是展示wait的用法
        # task_list = pool.map(test, process_list)
        # # 等待任務完成
        # wait(task_list)
        # # 任務完成之后再進行結果的獲取
        # task_result = [k for k in task_list]



if __name__ == '__main__':

    add_process()

由result1結果和result2結果可知，使用submit方法執(zhí)行任務的順序和使用map方法執(zhí)行任務的順序都是固定的。

到此這篇關于python進程池和線程池的區(qū)別的文章就介紹到這了,更多相關python進程池和線程池內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: