Python自定義主從分布式架構(gòu)實(shí)例分析

更新時(shí)間：2016年09月19日 09:16:53 作者：RQSLT

這篇文章主要介紹了Python自定義主從分布式架構(gòu),結(jié)合實(shí)例形式分析了主從分布式架構(gòu)的結(jié)構(gòu)、原理與具體的代碼實(shí)現(xiàn)技巧,需要的朋友可以參考下

本文實(shí)例講述了Python自定義主從分布式架構(gòu)。分享給大家供大家參考，具體如下：

環(huán)境：Win7 x64，Python 2.7，APScheduler 2.1.2。

原理圖如下：

代碼部分：

（1）、中心節(jié)點(diǎn)：

#encoding=utf-8
#author: walker
#date: 2014-12-03
#function: 中心節(jié)點(diǎn)（主要功能是分配任務(wù)）
import SocketServer, socket, Queue
CenterIP = '127.0.0.1'  #中心節(jié)點(diǎn)IP
CenterListenPort = 9999  #中心節(jié)點(diǎn)監(jiān)聽端口
CenterClient = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) #中心節(jié)點(diǎn)用于發(fā)送網(wǎng)絡(luò)消息的socket
TaskQueue = Queue.Queue() #任務(wù)隊(duì)列
#獲取任務(wù)隊(duì)列
def GetTaskQueue():
  for i in range(1, 11):
    TaskQueue.put(str(i))
#CenterServer的回調(diào)函數(shù)，在接受到udp報(bào)文是觸發(fā)
class MyUDPHandler(SocketServer.BaseRequestHandler):
  def handle(self):
    data = self.request[0].strip()
    socket = self.request[1]
    print(data)
    if data.startswith('wait'):
      vec = data.split(':')
      if len(vec) != 3:
        print('Error: len(vec) != 3')
      else:
        nodeIP = vec[1]
        nodeListenPort = vec[2]
        nodeID = nodeIP + ':' + nodeListenPort
        if not TaskQueue.empty():
          task = TaskQueue.get()
          print('send task ' + task + ' to ' + nodeID)
          CenterClient.sendto('task:' + task, (nodeIP, int(nodeListenPort)))
        else:
          print('TaskQueue is empty!')
GetTaskQueue() #獲取任務(wù)隊(duì)列
CenterServer = SocketServer.UDPServer((CenterIP, CenterListenPort), MyUDPHandler)
print('Listen port ' + str(CenterListenPort) + ' ...')
CenterServer.serve_forever()

（2）、任務(wù)節(jié)點(diǎn)：

#encoding=utf-8
#author: walker
#date: 2014-12-03
#function: 任務(wù)節(jié)點(diǎn)（請(qǐng)求/接收/執(zhí)行任務(wù)）
import time, socket, SocketServer
from apscheduler.scheduler import Scheduler
CenterIP = '127.0.0.1'  #中心節(jié)點(diǎn)IP
CenterListenPort = 9999  #中心節(jié)點(diǎn)監(jiān)聽端口
NodeIP = socket.gethostbyname(socket.gethostname())  #任務(wù)節(jié)點(diǎn)自身IP
NodeClient = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)  #任務(wù)節(jié)點(diǎn)用于發(fā)送網(wǎng)絡(luò)消息的socket
#任務(wù):發(fā)送網(wǎng)絡(luò)信息
def jobSendNetMsg():
  msg = ''
  if NodeServer.TaskState == 'wait':
    msg = 'wait:' + NodeIP + ':' + str(NodeListenPort)
  elif NodeServer.TaskState == 'exec':
    msg = 'exec:' + NodeIP + ':' + str(NodeListenPort)
  print(msg)
  NodeClient.sendto(msg, (CenterIP, CenterListenPort))
#添加并啟動(dòng)定時(shí)任務(wù)
def InitTimer():
  sched = Scheduler()
  sched.add_interval_job(jobSendNetMsg, seconds=1)
  sched.start()
#執(zhí)行任務(wù)
def ExecTask(task):
  print('ExecTask ' + task + ' ...')
  time.sleep(2)
  print('ExecTask ' + task + ' over')
#NodeServer的回調(diào)函數(shù)，在接受到udp報(bào)文是觸發(fā)
class MyUDPHandler(SocketServer.BaseRequestHandler):
  def handle(self):
    data = self.request[0].strip()
    socket = self.request[1]
    print('recv data: ' + data)
    if data.startswith('task'):
      vec = data.split(':')
      if len(vec) != 2:
        print('Error: len(vec) != 2')
      else:
        task = vec[1]
        self.server.TaskState = 'exec'
        ExecTask(task)
        self.server.TaskState = 'wait'
InitTimer()
NodeServer = SocketServer.UDPServer(('', 0), MyUDPHandler)
NodeServer.TaskState = 'wait' #(exec/wait)
NodeListenPort = NodeServer.server_address[1]
print('NodeListenPort:' + str(NodeListenPort))
NodeServer.serve_forever()

更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《Python URL操作技巧總結(jié)》、《Python圖片操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python Socket編程技巧總結(jié)》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章: