快捷導(dǎo)航

Python教程之生產(chǎn)者消費(fèi)者模式解析

更新時(shí)間：2021年09月13日 10:04:18 作者：季布，

在并發(fā)編程中使用生產(chǎn)者和消費(fèi)者模式能夠解決大不多的并發(fā)問(wèn)題。該模式通過(guò)平衡生產(chǎn)線程和消費(fèi)線程的工作能力來(lái)提高程序的整體處理數(shù)據(jù)的速度

為什么使用生產(chǎn)者消費(fèi)者模式

在線程世界里，生產(chǎn)者就是生產(chǎn)數(shù)據(jù)的線程，消費(fèi)者就是消費(fèi)數(shù)據(jù)的線程。在多線程開發(fā)中，如果生產(chǎn)者處理速度很快，而消費(fèi)者處理速度很慢，那么生產(chǎn)者就必須等待消費(fèi)者處理完才能繼續(xù)生產(chǎn)數(shù)據(jù)。同樣的道理，如果消費(fèi)者的處理能力大于生產(chǎn)者，那么消費(fèi)者就必須等待生產(chǎn)者。為了解決這個(gè)問(wèn)題引入了生產(chǎn)者和消費(fèi)者模式。

什么是生產(chǎn)者消費(fèi)者模式

生產(chǎn)者消費(fèi)者模式是通過(guò)一個(gè)容器來(lái)解決生產(chǎn)者和消費(fèi)者的強(qiáng)耦合問(wèn)題。生產(chǎn)者和消費(fèi)者彼此之間不直接通訊，而通過(guò)阻塞隊(duì)列來(lái)進(jìn)行通訊，所以生產(chǎn)者生產(chǎn)完數(shù)據(jù)之后不用通過(guò)等待消費(fèi)者處理，直接扔給阻塞隊(duì)列，消費(fèi)者不著生產(chǎn)者拿數(shù)據(jù)，而是直接從阻塞隊(duì)列中取，阻塞隊(duì)列相當(dāng)于一個(gè)緩沖區(qū)，平衡了生產(chǎn)者和消費(fèi)者的處理能力。

在這里插入圖片描述

代碼案例

import threading
import queue
import time
#定義一個(gè)生產(chǎn)者
def producer():
    count = 0
    #判斷隊(duì)列中任務(wù)的數(shù)量
    while q.qsize()<5:
        print('第%s頓飯......',count)
        q.put(count)
        count+=1
        time.sleep(1)
#定義一個(gè)消費(fèi)者
def consumer(name):
    while True:
        print("%s 吃了第%s飯" % (name,q.get()))
#定義一個(gè)隊(duì)列
q = queue.Queue(maxsize=4)
t1 = threading.Thread(target=producer)
t2 = threading.Thread(target=consumer,args=('jibu',))
t1.start()
t2.start()

結(jié)果:
第%s頓飯...... 0
jibu 吃了第0飯
第%s頓飯...... 1
jibu 吃了第1飯
第%s頓飯...... 2
jibu 吃了第2飯
第%s頓飯...... 3
jibu 吃了第3飯
第%s頓飯...... 4
jibu 吃了第4飯
第%s頓飯...... 5
jibu 吃了第5飯
第%s頓飯...... 6
jibu 吃了第6飯
第%s頓飯...... 7
jibu 吃了第7飯
第%s頓飯...... 8
# 另外，如果供大于求或者求大于供，可以在相對(duì)小的一方在增加線程的數(shù)量

當(dāng)然如果需要進(jìn)一步優(yōu)化可以讓消費(fèi)者執(zhí)行完隊(duì)列中所有任務(wù)的時(shí)候告訴生產(chǎn)者一聲

import threading
import queue
import time
#定義一個(gè)生產(chǎn)者
def producer():
    count = 0
    #判斷隊(duì)列中任務(wù)的數(shù)量
    for i in range(5):
        print('第%s頓飯......',count)
        q.put(count)
        count+=1
        time.sleep(1)
    q.join()
#定義一個(gè)消費(fèi)者
def consumer(name):
    while True:
        print("%s 吃了第%s飯" % (name,q.get()))
        q.task_done()
        print('消費(fèi)者執(zhí)行完了所有任務(wù)')
#定義一個(gè)隊(duì)列
q = queue.Queue(maxsize=4)
t1 = threading.Thread(target=producer)
t2 = threading.Thread(target=consumer,args=('jibu',))
t1.start()
t2.start()

結(jié)果
第0頓飯......
jibu 吃了第0飯
消費(fèi)者執(zhí)行完了所有任務(wù)
第1頓飯......
jibu 吃了第1飯
消費(fèi)者執(zhí)行完了所有任務(wù)
第2頓飯......
jibu 吃了第2飯
消費(fèi)者執(zhí)行完了所有任務(wù)
第3頓飯......
jibu 吃了第3飯
消費(fèi)者執(zhí)行完了所有任務(wù)
第4頓飯......
jibu 吃了第4飯
消費(fèi)者執(zhí)行完了所有任務(wù)