最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

解決Python 進(jìn)程池Pool中一些坑

 更新時(shí)間:2021年03月05日 10:04:18   作者:qq_41131535  
這篇文章主要介紹了解決Python 進(jìn)程池Pool中一些坑,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

1 from multiprocessing import Pool,Queue。

其中Queue在Pool中不起作用,具體原因未明。

解決方案:

如果要用Pool創(chuàng)建進(jìn)程,就需要使用multiprocessing.Manager()中的Queue,

與multiprocessing中的Queue不同

q=Manager().Queue()#Manager中的Queue才能配合Pool
po = Pool() # 無窮多進(jìn)程

2 使用進(jìn)程池,在進(jìn)程中調(diào)用io讀寫操作。

例如:

p=Pool()
q=Manager().Queue()
with open('/home/cctv/data/stage_file/stage_{}.txt'.format(int(time.time())), 'w') as w1:
 p.apply_async(write_json, args=(video_path, 0,0.6,w1,q,i[0],))

這樣也不會(huì)完成進(jìn)程,只能把w放到具體的函數(shù)里面,不能通過參數(shù)調(diào)用

補(bǔ)充:python3進(jìn)程池pool使用及注意事項(xiàng)

1.在python中使用進(jìn)程池主要就是為了并行處理任務(wù),縮短運(yùn)行時(shí)間

2.經(jīng)常使用方法: 同步有 apply(), map();異步的有 apply_async(), map_async()

3. 先看幾個(gè)小例子

import time 
from multiprocessing import Pool 
test = [1,2,3,4,5,6,7,8]
def run(fn):
 time.sleep(1)
 return fn*fn
s = time.time()
for i in test:
 run(i)
e = time.time()
print('直接循環(huán) 執(zhí)行時(shí)間:',e - s)
pool = Pool(8)
s = time.time()
for i in test: 
 pool.apply(run, (i,))
e = time.time()
print('apply 執(zhí)行時(shí)間:',e - s)
pool1 = Pool(8)
s = time.time()
res = []
for i in test: 
 r = [pool1.apply_async(run, (i,))]
 res.append(r)
pool1.close()
pool1.join()
e = time.time()
print([i.get() for i in r])
print('apply_async 執(zhí)行時(shí)間:',e - s)
 
pool2 = Pool(8)
r = pool2.map(run,test)
pool2.close()
pool2.join() 
e1 = time.time()
print(r)
print('map執(zhí)行時(shí)間:',e1 - e)
pool3 = Pool(8)
pool3.map_async(run,test)
pool3.close()
pool3.join() 
e1 = time.time()
print('map_async執(zhí)行時(shí)間:',e1 - e)

執(zhí)行結(jié)果

直接循環(huán) 執(zhí)行時(shí)間: 8.004754781723022
apply 執(zhí)行時(shí)間: 8.016774654388428
[64]
apply_async 執(zhí)行時(shí)間: 1.1128439903259277
[1, 4, 9, 16, 25, 36, 49, 64]
map執(zhí)行時(shí)間: 1.181443452835083
map_async執(zhí)行時(shí)間: 2.3679864406585693

除此之外,在寫代碼中,還涉及到變量的一些問題。就需要加鎖~

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。

相關(guān)文章

最新評(píng)論

吴旗县| 内黄县| 桐乡市| 即墨市| 郑州市| 武陟县| 东宁县| 穆棱市| 石嘴山市| 曲沃县| 交城县| 临洮县| 方山县| 同仁县| 紫阳县| 扶沟县| 十堰市| 柘城县| 濮阳市| 芮城县| 潮安县| 新巴尔虎左旗| 荆门市| 赞皇县| 新田县| 三江| 福泉市| 沅陵县| 潞城市| 宝鸡市| 铁岭县| 兴海县| 山阴县| 明光市| 武胜县| 遂川县| 呈贡县| 平阴县| 旺苍县| 鹤庆县| 天祝|