Python如何快速實現(xiàn)分布式任務(wù)
深入讀了讀python的官方文檔，發(fā)覺Python自帶的multiprocessing模塊有很多預(yù)制的接口可以方便的實現(xiàn)多個主機之間的通訊，進而實現(xiàn)典型的生產(chǎn)者-消費者模式的分布式任務(wù)架構(gòu)。
之前，為了在Python中實現(xiàn)生產(chǎn)者-消費者模式，往往就會選擇一個額外的隊列系統(tǒng)，比如rabbitMQ之類。此外，你有可能還要設(shè)計一套任務(wù)對象的序列化方式以便塞入隊列。如果沒有隊列的支持，那不排除有些同學(xué)不得不從socket服務(wù)器做起，直接跟TCP/IP打起交道來。
其實multiprocessing.managers中有個BaseManager就為開發(fā)者提供了這樣一個快速接口。
我們假定的場景是1個生產(chǎn)者（producer.py）+8個消費者(worker.py)的系統(tǒng)，還有一個中央節(jié)點負責協(xié)調(diào)（server.py）實現(xiàn)如下：
server.py
from multiprocessing.managers import BaseManager
import Queue
queue = Queue.Queue() #初始化一個Q，用于消息傳遞
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue', callable=lambda:queue) # 在系統(tǒng)中發(fā)布get_queue這個業(yè)務(wù)
if __name__ == '__main__':
m = QueueManager(address=('10.239.85.193', 50000),authkey='abr' )
# 監(jiān)聽所有10.239.85.193的50000口
s = m.get_server()
s.serve_forever()
worker.py
from multiprocessing.managers import BaseManager
from multiprocessing import Pool
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue')
def feb(i): #經(jīng)典的'山羊增殖'
if i < 2: return 1
if i < 5 : return feb(i-1) + feb(i-2)
return feb(i-1) + feb(i-2) - feb(i-5)
def worker(i):
m = QueueManager(address=('10.239.85.193', 50000), authkey='abr')
#連接server
m.connect()
while True:
queue = m.get_queue()
# 獲取Q
c = queue.get()
print feb(c)
if __name__ == '__main__':
p = Pool(8) # 分進程啟動8個worker
p.map(worker, range(8))
producer.py
from multiprocessing.managers import BaseManager
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue')
if __name__ == '__main__':
m = QueueManager(address=('10.239.85.193', 50000), authkey='abr')
m.connect()
i = 0
while True:
queue = m.get_queue()
queue.put(48)
i+=1
系統(tǒng)會直接將Queue() 對象中的數(shù)據(jù)直接封裝后通過TCP 50000端口在主機之間傳遞。不過需要注意的是，由于authkey的緣故，各個節(jié)點要求python的版本一致。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了淺談Python訪問MySQL的正確姿勢，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
雞群算法，縮寫為CSO(Chicken?Swarm?Optimization)，盡管具備所謂仿生學(xué)的背景，但實質(zhì)上是粒子群算法的一個變體。本文將利用Python語言實現(xiàn)這一算法，感興趣的可以了解一下2022-11-11
這篇文章主要介紹了Python如何實現(xiàn)單因素方差分析,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-07-07
Jupyter Notebook添加代碼自動補全功能的實現(xiàn)
這篇文章主要介紹了Jupyter Notebook添加代碼自動補全功能的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
這篇文章主要介紹了在PyCharm中安裝PaddlePaddle的方法,本文給大家介紹的非常想詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
今天通過本文給大家分享pycharm快速添加遠程環(huán)境的過程，通過在setting中選擇設(shè)置符號add，具體詳細過程跟隨小編一起通過本文學(xué)習(xí)下吧2021-07-07
關(guān)于Python Tkinter Button控件command傳參問題的解決方式
這篇文章主要介紹了關(guān)于Python Tkinter Button控件command傳參問題的解決方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
這篇文章主要介紹了Python PyPDF2模塊安裝使用解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-01-01
python中以函數(shù)作為參數(shù)(回調(diào)函數(shù))的實現(xiàn)方法
這篇文章主要介紹了python中以函數(shù)作為參數(shù)(回調(diào)函數(shù))的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-01-01
這篇文章主要為大家詳細介紹了python的推導(dǎo)式，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-02-02