python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別
1、二者的區(qū)別
apply():
- 非異步(子進程不是同時執(zhí)行的),堵塞主進程。
- 它的非異步體現(xiàn)在:一個一個按順序執(zhí)行子進程, 子進程不是同時執(zhí)行的。
- 它的堵塞體現(xiàn)在:等到全部子進程都執(zhí)行完畢后,繼續(xù)執(zhí)行apply()后面主進程的代碼。
apply_async():
- 異步的,不堵塞主進程。
- 它的異步體現(xiàn)在:子進程之間是同時執(zhí)行的。子進程被分配到不同的cpu上被執(zhí)行。
- 它的非堵塞體現(xiàn)在:他不會等待子進程完全執(zhí)行完畢, 主進程會繼續(xù)執(zhí)行, 他會根據(jù)系統(tǒng)調(diào)度來進行進程之間的切換。如果想堵塞主要進程,需要用.join()函數(shù)來堵塞主進程。
2、apply()
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#記錄一下開始執(zhí)行的時間
start_time = time.time()
# 創(chuàng)建一個進程池,允許最多可以有3個子進程可以同時執(zhí)行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply(doIt,[i])
print('mainProcess done time:%s s' % (time.time() - start_time))結(jié)果如下所示:
從結(jié)果中我們可以看到,主進程開始執(zhí)行之后, 創(chuàng)建的三個子進程也隨即開始執(zhí)行, 后面的主進程被阻塞。而且三個子進程是一個接一個按順序地執(zhí)行, 等到子進程全部執(zhí)行完畢之后, 后面的主進程才會繼續(xù)執(zhí)行, 打印出最后一句。所以,apply()函數(shù)果然是可以堵塞主進程,而且是非異步的。

3、apply_async()
顧名思義,async就是異步的意思。接下來是使用apply_async(), 只需要把上面的代碼使用 apply()的地方改成apply_async() 即可, 代碼不再貼上
我們來看看運行結(jié)果, 可以看出來, 截圖的第一句是上一個程序(也就是apply()函數(shù))的執(zhí)行消耗時間,
最后一句是使用apply_async()所消耗的時間, 在這里, 主進程沒有被阻塞, 驗證了apply_async()是非阻塞主進程的, 子進程沒有執(zhí)行, 驗證了他是根據(jù)系統(tǒng)調(diào)度完成的,
為什么會這樣呢?
原因是, 進程的切換時操作系統(tǒng)控制的, 我們首先運行的是主進程, 而CPU運行得又很快, 快到還沒等系統(tǒng)調(diào)度到子線程, 主進程就已經(jīng)運行完畢了, 并且退出程序. 所以子進程就沒有運行了.

那么我們在使用apply_async()函數(shù)是不是就不能執(zhí)行子進程呢?肯定可以?。。?!小老弟,想啥呢??還記得join()的作用嗎?他可以阻塞主進程, 等待所有子進程結(jié)束之后再運行,join()就是告訴主進程老子要運行子進程了,你先等等。
import time
import multiprocessing
def doIt(num):
print("Process num is : %s" % num)
time.sleep(1)
print('process %s end' % num)
if __name__ == '__main__':
print('mainProcess start')
#記錄一下開始執(zhí)行的時間
start_time = time.time()
# 創(chuàng)建一個進程池,最大允許3個子進程同時執(zhí)行。
pool = multiprocessing.Pool(3)
print('Child start')
for i in range(3):
pool.apply_async(doIt,[i])
pool.close()
pool.join()
print('mainProcess done time:%s s' % (time.time() - start_time))結(jié)果如下所示:
我們看看加入這兩句的運行結(jié)果, 我們可以看到即使是使用了非阻塞主進程的apply_async() 也能讓子進程運行完畢之后再執(zhí)行主進程了。
CPU在執(zhí)行第一個子進程的時候, 還沒等第一個子進程結(jié)束, 系統(tǒng)調(diào)度到了按順序調(diào)度到了第二個子進程, 以此類推, 一直調(diào)度運行子進程, 一個接一個地結(jié)束子進程的運行, 最后運行主進程, 而且我們可以看到使用apply_async()的執(zhí)行效力會更高,看一下他們各自執(zhí)行結(jié)果最后一句的執(zhí)行消耗時間就知道了, 這也是官方推薦我們使用apply_async()的主要原因吧

到此這篇關(guān)于python中multiprosessing模塊的Pool()類中的apply()函數(shù)和apply_async()函數(shù)的區(qū)別的文章就介紹到這了,更多相關(guān)python multiprosessing內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python基礎(chǔ)知識(一)變量與簡單數(shù)據(jù)類型詳解
這篇文章主要介紹了python變量與簡單數(shù)據(jù)類型詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
python數(shù)據(jù)庫開發(fā)之MongoDB安裝及Python3操作MongoDB數(shù)據(jù)庫詳細方法與實例
這篇文章主要介紹了python數(shù)據(jù)庫開發(fā)之MongoDB安裝及Python3操作MongoDB數(shù)據(jù)庫詳細方法與實例,需要的朋友可以參考下2020-03-03
Pytorch框架構(gòu)建ResNet模型的實現(xiàn)示例
本文主要介紹了Pytorch框架構(gòu)建ResNet模型的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-06-06

