Python多進(jìn)程協(xié)作模擬實現(xiàn)流程
由于python多線程無法發(fā)揮多核的作用，因此當(dāng)計算量很大的時候就需要考慮多進(jìn)程。
只不過多進(jìn)程比較麻煩一些，進(jìn)程中通信向來是一件麻煩事。
python提供了multiprocessing 模塊，應(yīng)該會提供不少便利
假設(shè)我們做量化交易需要運行一個算法，針對一只票每運行一次需要30秒，運行完成將結(jié)果作為一個因子交給另一個計算模塊運行，最后將計算結(jié)果統(tǒng)計出來。如果只運行一只票問題不大，大不了等一下就好，同時運行10票的話就很有必然考慮多進(jìn)程以加快速度。
pro_queue為生產(chǎn)進(jìn)程的數(shù)據(jù)隊列，生產(chǎn)進(jìn)程完成生產(chǎn)后將自己相關(guān)數(shù)據(jù)裝產(chǎn)pro_queue中
calc_queue為計算進(jìn)程的數(shù)據(jù)隊列，計算進(jìn)程先將生產(chǎn)進(jìn)程的數(shù)據(jù)通過參數(shù)傳遞的方式獲取到，然后進(jìn)行計算，并將計算結(jié)果存入calc_queue中
主進(jìn)程在最后不斷獲取計算進(jìn)程的計算結(jié)果，并將其累加，最終獲取到一個總的計算結(jié)果
生產(chǎn)進(jìn)程：
def func_a(i, p: queues):
print(F"第{i}個生產(chǎn)進(jìn)程: 進(jìn)程號:{os.getpid()},開始...")
time.sleep(random.randint(1, 5))
result = random.randint(50, 100)
print(F"第{i}個生產(chǎn)進(jìn)程: 完成。生產(chǎn)結(jié)果[{result}]。")
p.put((i, os.getpid(), result))計算進(jìn)程：
def func_b(i, data, q: queues):
print(F"第{i}個計算進(jìn)程: 進(jìn)程號:{os.getpid()}, 數(shù)據(jù)源{data[0]}:{data[1]}:{data[2]},開始...")
time.sleep(random.randint(1, 3))
result = data[2] * 100
print(F"第{i}個計算進(jìn)程: 完成。計算結(jié)果【{result}】")
q.put(result)程序一開始先將生產(chǎn)進(jìn)程啟動起來：其中process_num表示同時啟動多少個生產(chǎn)進(jìn)程
for i in range(process_num):
p = Process(target=func_a, args=(i, pro_queue,))
p.start()然后不停等待生產(chǎn)進(jìn)程的結(jié)果，每等到一個結(jié)果就啟動一個計算進(jìn)程
for i in range(process_num):
data = pro_queue.get()
p = Process(target=func_b, args=(i, data, calc_queue))
p.start()最后就是等待計算進(jìn)程的計算結(jié)果
s = 0
for i in range(process_num):
s += calc_queue.get()
print(F"所有計算完成，總結(jié)果：{s}")補(bǔ)上程序一開始的兩個隊列的申明：
import multiprocessing
import time
from multiprocessing import Process
from multiprocessing import queues
import random
import os
pro_queue = queues.Queue(ctx=multiprocessing)
calc_queue = queues.Queue(ctx=multiprocessing)
process_num = 5到此這篇關(guān)于Python多進(jìn)程協(xié)作模擬實現(xiàn)流程的文章就介紹到這了,更多相關(guān)Python多進(jìn)程協(xié)作內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Python中字符串的一些知識點,來自于IBM官方網(wǎng)站技術(shù)文檔,需要的朋友可以參考下2015-04-04
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)AES加密與解密，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-03-03
在Python中使用MySQL--PyMySQL的基本使用方法
PyMySQL 是在 Python3.x 版本中用于連接 MySQL 服務(wù)器的一個庫，Python2中則使用mysqldb。這篇文章主要介紹了在Python中使用MySQL--PyMySQL的基本使用,需要的朋友可以參考下2019-11-11
python數(shù)據(jù)分析基礎(chǔ)之pandas中l(wèi)oc()與iloc()的介紹與區(qū)別介紹
我們經(jīng)常在尋找數(shù)據(jù)的某行或者某列的時常用到Pandas中的兩種方法iloc和loc,兩種方法都接收兩個參數(shù),第一個參數(shù)是行的范圍,第二個參數(shù)是列的范圍,這篇文章主要介紹了python數(shù)據(jù)分析基礎(chǔ)之pandas中l(wèi)oc()與iloc()的介紹與區(qū)別,需要的朋友可以參考下2024-07-07
今天小編就為大家分享一篇Pytorch之contiguous的用法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
在Python中獲取操作系統(tǒng)的進(jìn)程信息
今天小編就為大家分享一篇在Python中獲取操作系統(tǒng)的進(jìn)程信息，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
Python Dataframe 指定多列去重、求差集的方法
