詳解Python操作RabbitMQ服務(wù)器消息隊列的遠程結(jié)果返回
先說一下筆者這里的測試環(huán)境：Ubuntu14.04 + Python 2.7.4
RabbitMQ服務(wù)器
sudo apt-get install rabbitmq-server
Python使用RabbitMQ需要Pika庫
sudo pip install pika
遠程結(jié)果返回
消息發(fā)送端發(fā)送消息出去后沒有結(jié)果返回。如果只是單純發(fā)送消息，當(dāng)然沒有問題了，但是在實際中，常常會需要接收端將收到的消息進行處理之后，返回給發(fā)送端。
處理方法描述：發(fā)送端在發(fā)送信息前，產(chǎn)生一個接收消息的臨時隊列，該隊列用來接收返回的結(jié)果。其實在這里接收端、發(fā)送端的概念已經(jīng)比較模糊了，因為發(fā)送端也同樣要接收消息，接收端同樣也要發(fā)送消息，所以這里筆者使用另外的示例來演示這一過程。
示例內(nèi)容：假設(shè)有一個控制中心和一個計算節(jié)點，控制中心會將一個自然數(shù)N發(fā)送給計算節(jié)點，計算節(jié)點將N值加1后，返回給控制中心。這里用center.py模擬控制中心，compute.py模擬計算節(jié)點。
compute.py代碼分析
#!/usr/bin/env python
#coding=utf8
import pika
#連接rabbitmq服務(wù)器
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
#定義隊列
channel.queue_declare(queue='compute_queue')
print ' [*] Waiting for n'
#將n值加1
def increase(n):
return n + 1
#定義接收到消息的處理方法
def request(ch, method, properties, body):
print " [.] increase(%s)" % (body,)
response = increase(int(body))
#將計算結(jié)果發(fā)送回控制中心
ch.basic_publish(exchange='',
routing_key=properties.reply_to,
body=str(response))
ch.basic_ack(delivery_tag = method.delivery_tag)
channel.basic_qos(prefetch_count=1)
channel.basic_consume(request, queue='compute_queue')
channel.start_consuming()
計算節(jié)點的代碼比較簡單，值得一提的是，原來的接收方法都是直接將消息打印出來，這邊進行了加一的計算，并將結(jié)果發(fā)送回控制中心。
center.py代碼分析
#!/usr/bin/env python
#coding=utf8
import pika
class Center(object):
def __init__(self):
self.connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
self.channel = self.connection.channel()
#定義接收返回消息的隊列
result = self.channel.queue_declare(exclusive=True)
self.callback_queue = result.method.queue
self.channel.basic_consume(self.on_response,
no_ack=True,
queue=self.callback_queue)
#定義接收到返回消息的處理方法
def on_response(self, ch, method, props, body):
self.response = body
def request(self, n):
self.response = None
#發(fā)送計算請求，并聲明返回隊列
self.channel.basic_publish(exchange='',
routing_key='compute_queue',
properties=pika.BasicProperties(
reply_to = self.callback_queue,
),
body=str(n))
#接收返回的數(shù)據(jù)
while self.response is None:
self.connection.process_data_events()
return int(self.response)
center = Center()
print " [x] Requesting increase(30)"
response = center.request(30)
print " [.] Got %r" % (response,)
上例代碼定義了接收返回數(shù)據(jù)的隊列和處理方法，并且在發(fā)送請求的時候?qū)⒃撽犃匈x值給reply_to，在計算節(jié)點代碼中就是通過這個參數(shù)來獲取返回隊列的。
打開兩個終端，一個運行代碼python compute.py，另外一個終端運行center.py，如果執(zhí)行成功，應(yīng)該就能看到效果了。
筆者在測試的時候，出了些小問題，就是在center.py發(fā)送消息時沒有指明返回隊列，結(jié)果compute.py那邊在計算完結(jié)果要發(fā)回數(shù)據(jù)時報錯，提示routing_key不存在，再次運行也報錯。用rabbitmqctl list_queues查看隊列，發(fā)現(xiàn)compute_queue隊列有1條數(shù)據(jù)，每次重新運行compute.py的時候，都會重新處理這條數(shù)據(jù)。后來使用/etc/init.d/rabbitmq-server restart重新啟動下rabbitmq就ok了。
相互關(guān)聯(lián)編號correlation id
上一遍演示了遠程結(jié)果返回的示例，但是有一個沒有提到，就是correlation id，這個是個什么東東呢？
假設(shè)有多個計算節(jié)點，控制中心開啟多個線程，往這些計算節(jié)點發(fā)送數(shù)字，要求計算結(jié)果并返回，但是控制中心只開啟了一個隊列，所有線程都是從這個隊列里獲取消息，每個線程如何確定收到的消息就是該線程對應(yīng)的呢？這個就是correlation id的用處了。correlation翻譯成中文就是相互關(guān)聯(lián)，也表達了這個意思。
correlation id運行原理：控制中心發(fā)送計算請求時設(shè)置correlation id，而后計算節(jié)點將計算結(jié)果，連同接收到的correlation id一起返回，這樣控制中心就能通過correlation id來標識請求。其實correlation id也可以理解為請求的唯一標識碼。
示例內(nèi)容：控制中心開啟多個線程，每個線程都發(fā)起一次計算請求，通過correlation id，每個線程都能準確收到相應(yīng)的計算結(jié)果。
compute.py代碼分析
和上面一篇相比，只需修改一個地方：將計算結(jié)果發(fā)送回控制中心時，增加參數(shù)correlation_id的設(shè)定，該參數(shù)的值其實是從控制中心發(fā)送過來的，這里只是再次發(fā)送回去。代碼如下：
#!/usr/bin/env python
#coding=utf8
import pika
#連接rabbitmq服務(wù)器
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
#定義隊列
channel.queue_declare(queue='compute_queue')
print ' [*] Waiting for n'
#將n值加1
def increase(n):
return n + 1
#定義接收到消息的處理方法
def request(ch, method, props, body):
print " [.] increase(%s)" % (body,)
response = increase(int(body))
#將計算結(jié)果發(fā)送回控制中心，增加correlation_id的設(shè)定
ch.basic_publish(exchange='',
routing_key=props.reply_to,
properties=pika.BasicProperties(correlation_id = \
props.correlation_id),
body=str(response))
ch.basic_ack(delivery_tag = method.delivery_tag)
channel.basic_qos(prefetch_count=1)
channel.basic_consume(request, queue='compute_queue')
channel.start_consuming()
center.py代碼分析
控制中心代碼稍微復(fù)雜些，其中比較關(guān)鍵的有三個地方：
使用python的uuid來產(chǎn)生唯一的correlation_id。
發(fā)送計算請求時，設(shè)定參數(shù)correlation_id。
定義一個字典來保存返回的數(shù)據(jù)，并且鍵值為相應(yīng)線程產(chǎn)生的correlation_id。
代碼如下：
#!/usr/bin/env python
#coding=utf8
import pika, threading, uuid
#自定義線程類，繼承threading.Thread
class MyThread(threading.Thread):
def __init__(self, func, num):
super(MyThread, self).__init__()
self.func = func
self.num = num
def run(self):
print " [x] Requesting increase(%d)" % self.num
response = self.func(self.num)
print " [.] increase(%d)=%d" % (self.num, response)
#控制中心類
class Center(object):
def __init__(self):
self.connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
self.channel = self.connection.channel()
#定義接收返回消息的隊列
result = self.channel.queue_declare(exclusive=True)
self.callback_queue = result.method.queue
self.channel.basic_consume(self.on_response,
no_ack=True,
queue=self.callback_queue)
#返回的結(jié)果都會存儲在該字典里
self.response = {}
#定義接收到返回消息的處理方法
def on_response(self, ch, method, props, body):
self.response[props.correlation_id] = body
def request(self, n):
corr_id = str(uuid.uuid4())
self.response[corr_id] = None
#發(fā)送計算請求，并設(shè)定返回隊列和correlation_id
self.channel.basic_publish(exchange='',
routing_key='compute_queue',
properties=pika.BasicProperties(
reply_to = self.callback_queue,
correlation_id = corr_id,
),
body=str(n))
#接收返回的數(shù)據(jù)
while self.response[corr_id] is None:
self.connection.process_data_events()
return int(self.response[corr_id])
center = Center()
#發(fā)起5次計算請求
nums= [10, 20, 30, 40 ,50]
threads = []
for num in nums:
threads.append(MyThread(center.request, num))
for thread in threads:
thread.start()
for thread in threads:
thread.join()
筆者開啟了兩個終端，來運行compute.py，開啟一個終端來運行center.py，最后結(jié)果輸出截圖如下：
可以看到雖然獲取的結(jié)果不是順序輸出，但是結(jié)果和源數(shù)據(jù)都是對應(yīng)的。
這邊示例的做法就是創(chuàng)建一個隊列，使用correlation id來標識每次請求。也有做法可以不使用correlation id，就是每請求一次，就創(chuàng)建一個臨時隊列，不過這樣太消耗性能了，官方也不推薦這么做。
相關(guān)文章
最近在學(xué)習(xí)過程中發(fā)現(xiàn)在計算機JS時發(fā)現(xiàn)了一個非常有意思事,0.1+0.2的結(jié)果不是0.3,而是0.30000000000000004,下面這篇文章主要給大家介紹了關(guān)于為什么Python中0.2+0.1不等于0.3的相關(guān)資料,需要的朋友可以參考下2022-12-12
這篇文章主要介紹了python的常用模塊之collections模塊詳解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-12-12
這篇文章主要為大家詳細介紹了利用anaconda保證64位和32位的python共存，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
本文主要介紹了pyinstaller生成的exe文件啟動時間漫長的原因,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-01-01
使用Python3+PyQT5+Pyserial 實現(xiàn)簡單的串口工具方法
今天小編就為大家分享一篇使用Python3+PyQT5+Pyserial 實現(xiàn)簡單的串口工具方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
淺談關(guān)于Python3中venv虛擬環(huán)境
這篇文章主要介紹了淺談關(guān)于Python3中venv虛擬環(huán)境，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-08-08
Python-flask調(diào)用接口返回中文數(shù)據(jù)問題
這篇文章主要介紹了Python-flask調(diào)用接口返回中文數(shù)據(jù)問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-03-03
這篇文章主要介紹了python3?requests中文亂碼問題之壓縮格式問題,我們在爬蟲時，經(jīng)常會遇見中文亂碼問題，之前都是編碼格式的問題，很少遇見由于壓縮格式造成的編碼混亂問題，特記錄下，需要的朋友可以參考下2022-08-08
這篇文章主要介紹了使用gunicorn部署django項目,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-12-12
詳解如何使用Python處理INI、YAML和JSON配置文件
在軟件開發(fā)中,配置文件是存儲程序配置信息的常見方式,INI、YAML和JSON是常用的配置文件格式,各自有著特定的結(jié)構(gòu)和用途,Python擁有豐富的庫和模塊,本文將重點探討如何使用Python處理這三種格式的配置文件,需要的朋友可以參考下2023-12-12