快捷導(dǎo)航

Python多進(jìn)程與多線程的使用場(chǎng)景詳解

更新時(shí)間：2021年03月05日 16:08:35 作者：大帥不是我

這篇文章主要給大家介紹了關(guān)于Python多進(jìn)程與多線程使用場(chǎng)景的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

前言

Python多進(jìn)程適用的場(chǎng)景：計(jì)算密集型（CPU密集型）任務(wù)

Python多線程適用的場(chǎng)景：IO密集型任務(wù)

計(jì)算密集型任務(wù)一般指需要做大量的邏輯運(yùn)算，比如上億次的加減乘除，使用多核CPU可以并發(fā)提高計(jì)算性能。

IO密集型任務(wù)一般指輸入輸出型，比如文件的讀取，或者網(wǎng)絡(luò)的請(qǐng)求，這類場(chǎng)景一般會(huì)遇到IO阻塞，使用多核CPU來(lái)執(zhí)行并不會(huì)有太高的性能提升。

下面使用一臺(tái)64核的虛擬機(jī)來(lái)執(zhí)行任務(wù)，通過(guò)示例代碼來(lái)區(qū)別它們，

示例1：執(zhí)行計(jì)算密集型任務(wù)，進(jìn)行1億次運(yùn)算

使用多進(jìn)程

from multiprocessing import Process
import os, time
 
 
# 計(jì)算密集型任務(wù)
def work():
 res = 0
 for i in range(100 * 100 * 100 * 100): # 億次運(yùn)算
  res *= i
 
 
if __name__ == "__main__":
 l = []
 print("本機(jī)為", os.cpu_count(), "核 CPU") # 本機(jī)為64核
 start = time.time()
 for i in range(4):
  p = Process(target=work) # 多進(jìn)程
  l.append(p)
  p.start()
 for p in l:
  p.join()
 stop = time.time()
 print("計(jì)算密集型任務(wù)，多進(jìn)程耗時(shí) %s" % (stop - start))

使用多線程

from threading import Thread
import os, time
 
 
# 計(jì)算密集型任務(wù)
def work():
 res = 0
 for i in range(100 * 100 * 100 * 100): # 億次運(yùn)算
  res *= i
 
 
if __name__ == "__main__":
 l = []
 print("本機(jī)為", os.cpu_count(), "核 CPU") # 本機(jī)為64核
 start = time.time()
 for i in range(4):
  p = Thread(target=work) # 多線程
  l.append(p)
  p.start()
 for p in l:
  p.join()
 stop = time.time()
 print("計(jì)算密集型任務(wù)，多線程耗時(shí) %s" % (stop - start))

兩段代碼輸出：

本機(jī)為 64 核 CPU
計(jì)算密集型任務(wù)，多進(jìn)程耗時(shí) 6.864224672317505

本機(jī)為 64 核 CPU
計(jì)算密集型任務(wù)，多線程耗時(shí) 37.91042113304138

說(shuō)明：上述代碼中，分別使用4個(gè)多進(jìn)程和4個(gè)多線程去執(zhí)行億次運(yùn)算，多進(jìn)程耗時(shí)6.86s，多線程耗時(shí)37.91s，可見(jiàn)在計(jì)算密集型任務(wù)場(chǎng)景，使用多進(jìn)程能大大提高效率。

另外，當(dāng)分別使用8個(gè)多進(jìn)程和8個(gè)多線程去執(zhí)行億次運(yùn)算時(shí)，耗時(shí)差距更大，輸出如下：

本機(jī)為 64 核 CPU
計(jì)算密集型任務(wù)，多進(jìn)程耗時(shí) 6.811635971069336

本機(jī)為 64 核 CPU
計(jì)算密集型任務(wù)，多線程耗時(shí) 113.53767895698547

可見(jiàn)在64核的cpu機(jī)器下，同時(shí)使用8個(gè)多進(jìn)程和4個(gè)多進(jìn)程效率幾乎一樣。而使用多線程則就效率較慢。要最高效地利用CPU，計(jì)算密集型任務(wù)同時(shí)進(jìn)行的數(shù)量應(yīng)當(dāng)?shù)扔贑PU的核心數(shù)

示例2：400次，阻塞兩秒，讀取文件

使用多進(jìn)程（4核cpu）

from multiprocessing import Process
import os, time
 
 
# I/0密集型任務(wù)
def work():
 time.sleep(5) # 阻塞兩秒
 
 
if __name__ == "__main__":
 l = []
 print("本機(jī)為", os.cpu_count(), "核 CPU")
 start = time.time()
 for i in range(1000):
  p = Process(target=work) # 多進(jìn)程
  l.append(p)
  p.start()
 for p in l:
  p.join()
 stop = time.time()
 print("I/0密集型任務(wù)，多進(jìn)程耗時(shí) %s" % (stop - start))

使用多線程（4核cpu）

from threading import Thread
import os, time
 
 
# I/0密集型任務(wù)
def work():
 time.sleep(5) # 阻塞兩秒
 
 
if __name__ == "__main__":
 l = []
 print("本機(jī)為", os.cpu_count(), "核 CPU")
 start = time.time()
 
 for i in range(1000):
  p = Thread(target=work) # 多線程
  l.append(p)
  p.start()
 for p in l:
  p.join()
 stop = time.time()
 print("I/0密集型任務(wù)，多線程耗時(shí) %s" % (stop - start))

輸出：