最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Go?http請(qǐng)求排隊(duì)處理實(shí)戰(zhàn)示例

 更新時(shí)間:2022年07月18日 11:29:12   作者:Go學(xué)堂  
這篇文章主要為大家介紹了Go?http請(qǐng)求排隊(duì)處理實(shí)戰(zhàn)實(shí)例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

一、http請(qǐng)求的順序處理方式

在高并發(fā)場(chǎng)景下,為了降低系統(tǒng)壓力,都會(huì)使用一種讓請(qǐng)求排隊(duì)處理的機(jī)制。本文就介紹在Go中是如何實(shí)現(xiàn)的。

首先,我們看下正常的請(qǐng)求處理邏輯。 客戶端發(fā)送請(qǐng)求,web server接收請(qǐng)求,然后就是處理請(qǐng)求,最后響應(yīng)給客戶端這樣一個(gè)順序的邏輯。如下圖所示:

代碼實(shí)現(xiàn)如下:

package main
import (
	"fmt"
	"net/http"
)
func main() {
	myHandler := MyHandler{}
	http.Handle("/", &myHandler)
	http.ListenAndServe(":8080", nil)
}
type MyHandler struct {
}
func (h *MyHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {
	w.Write([]byte("Hello Go"))
}

在瀏覽器中輸入 http://localhost:8080/,就能在頁(yè)面上顯示出“Hello Go”的頁(yè)面來(lái)。

通常情況下,大家在開發(fā)web系統(tǒng)的時(shí)候,一般都是這么處理請(qǐng)求。接下來(lái)我們看在高并發(fā)下如何實(shí)現(xiàn)讓請(qǐng)求進(jìn)行排隊(duì)處理。

二、http請(qǐng)求的異步處理方式--排隊(duì)處理

讓http請(qǐng)求進(jìn)入到隊(duì)列,我們也稱為異步處理方式。其基本思想就是將接收到的請(qǐng)求的上下文(即request和response)以及處理邏輯包裝成一個(gè)工作單元,然后將其放到隊(duì)列,然后該工作單元等待消費(fèi)的工作線程處理該job,處理完成后再返回給客戶端。 流程如下圖:

該實(shí)現(xiàn)中會(huì)有三個(gè)關(guān)鍵的元素:工作執(zhí)行單元、隊(duì)列、消費(fèi)者。下面我們逐一看下各自的職責(zé)及實(shí)現(xiàn)。

工作單元

該工作單元主要是封裝請(qǐng)求的上下文信息(request和response)、請(qǐng)求的處理邏輯以及該工作單元是否被執(zhí)行完成的狀態(tài)。

請(qǐng)求的處理邏輯實(shí)際上就是原來(lái)在順序處理流程中的具體函數(shù),如果是mvc模式的話就是controller里的一個(gè)具體的action。

在Go中實(shí)現(xiàn)通信的方式一般是使用通道。所以,在工作單元中有一個(gè)通道,當(dāng)該工作單元執(zhí)行完具體的處理邏輯后,就往該通道中寫入一個(gè)消息,以通知主協(xié)程該次請(qǐng)求已完成,可以返回給客戶端了。

所以,一個(gè)http請(qǐng)求的處理邏輯看起來(lái)就像是下面這樣:

func (h *MyHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {
  將w和r包裝成工作單元job
  將job入隊(duì)
  等待job執(zhí)行完成
  本次請(qǐng)求處理完畢
}

下面我們看下工作單元的具體實(shí)現(xiàn),這里我們將其定義為一個(gè)Job結(jié)構(gòu)體:

type Job struct {
    DoneChan  chan struct{}
    handleJob func(j FlowJob) error //具體的處理邏輯
}

Job結(jié)構(gòu)體中有一個(gè)handleJob,其類型是一個(gè)函數(shù),即處理請(qǐng)求的邏輯部分。DoneChan通道用來(lái)讓該單元進(jìn)行阻塞等待,并當(dāng)handleJob執(zhí)行完畢后發(fā)送消息通知的。

下面我們?cè)倏纯丛揓ob的相關(guān)行為:

// 消費(fèi)者從隊(duì)列中取出該job時(shí) 執(zhí)行具體的處理邏輯
func (job *Job) Execute() error {
    fmt.Println("job start to execute ")
    return job.handleJob(job)
}
// 執(zhí)行完Execute后,調(diào)用該函數(shù)以通知主線程中等待的job
func (job *Job) Done() {
    job.DoneChan <- struct{}{}
    close(job.DoneChan)
}
// 工作單元等待自己被消費(fèi)
func (job *Job) WaitDone() {
    select {
    case <-job.DoneChan:
	return
    }
}

隊(duì)列

隊(duì)列主要是用來(lái)存儲(chǔ)工作單元的。是處理請(qǐng)求的主協(xié)程和消費(fèi)協(xié)程之間的紐帶。隊(duì)列具有列表、容量、當(dāng)前元素個(gè)數(shù)等關(guān)鍵元素組成。如下:

type JobQueue struct {
    mu         sync.Mutex
    noticeChan chan struct{}
    queue      *list.List
    size       int
    capacity   int
}

其行為主要有入隊(duì)、出隊(duì)、移除等操作。定義如下:

// 初始化隊(duì)列
func NewJobQueue(cap int) *JobQueue {
    return &JobQueue{
	capacity: cap,
	queue:    list.New(),
	noticeChan: make(chan struct{}, 1),
    }
}
// 工作單元入隊(duì)
func (q *JobQueue) PushJob(job *Job) {
    q.mu.Lock()
    defer q.mu.Unlock()
    q.size++
    if q.size > q.capacity {
	q.RemoveLeastJob()
    }
    q.queue.PushBack(job)
    q.noticeChan <- struct{}{}
}
// 工作單元出隊(duì)
func (q *JobQueue) PopJob() *Job {
	q.mu.Lock()
	defer q.mu.Unlock()
	if q.size == 0 {
		return nil
	}
	q.size--
	return q.queue.Remove(q.queue.Front()).(*Job)
}
// 移除隊(duì)列中的最后一個(gè)元素。
// 一般在容量滿時(shí),有新job加入時(shí),會(huì)移除等待最久的一個(gè)job
func (q *JobQueue) RemoveLeastJob() {
	if q.queue.Len() != 0 {
		back := q.queue.Back()
		abandonJob := back.Value.(*Job)
		abandonJob.Done()
		q.queue.Remove(back)
	}
}
// 消費(fèi)線程監(jiān)聽隊(duì)列的該通道,查看是否有新的job需要消費(fèi)
func (q *JobQueue) waitJob() <-chan struct{} {
    return q.noticeChan
}

這里我們主要解釋一下入隊(duì)的操作流程:

  • 1 首先是隊(duì)列的元素個(gè)數(shù)size++
  • 2 判斷size是否超過最大容量capacity
  • 3 若超過最大容量,則將隊(duì)列中最后一個(gè)元素移除。因?yàn)樵撛氐却龝r(shí)間最長(zhǎng),認(rèn)為是超時(shí)的情況。
  • 4 將新接收的工作單元放入到隊(duì)尾。
  • 5 往noticeChan通道中寫入一個(gè)消息,以便通知消費(fèi)協(xié)程處理Job。

由以上可知,noticeChan是隊(duì)列和消費(fèi)者協(xié)程之間的紐帶。下面我們來(lái)看看消費(fèi)者的實(shí)現(xiàn)。

消費(fèi)者協(xié)程

消費(fèi)者協(xié)程的職責(zé)是監(jiān)聽隊(duì)列,并從隊(duì)列中獲取工作單元,執(zhí)行工作單元的具體處理邏輯。在實(shí)際應(yīng)用中,可以根據(jù)系統(tǒng)的承載能力啟用多個(gè)消費(fèi)協(xié)程。在本文中,為了方便講解,我們只啟用一個(gè)消費(fèi)協(xié)程。

我們定義一個(gè)WorkerManager結(jié)構(gòu)體,負(fù)責(zé)管理具體的消費(fèi)協(xié)程。該WorkerManager有一個(gè)屬性是工作隊(duì)列,所有啟動(dòng)的消費(fèi)協(xié)程都需要從該工作隊(duì)列中獲取工作單元。代碼實(shí)現(xiàn)如下:

type WorkerManager struct {
    jobQueue *JobQueue
}
func NewWorkerManager(jobQueue *JobQueue) *WorkerManager {
    return &WorkerManager{
	jobQueue: jobQueue,
    }
}
func (m *WorkerManager) createWorker() error {
    go func() {
	fmt.Println("start the worker success")
	var job FlowJob
	for {
            select {
                case <-m.jobQueue.waitJob():
		fmt.Println("get a job from job queue")
                job = m.jobQueue.PopJob()
		fmt.Println("start to execute job")
		job.Execute()
                fmt.Print("execute job done")
		job.Done()
            }
	}
    }()
    return nil
}

在代碼中我們可以看到,createWorker中的邏輯實(shí)際是一個(gè)for循環(huán),然后通過select監(jiān)聽隊(duì)列的noticeChan通道,當(dāng)獲取到工作單元時(shí),就執(zhí)行工作單元中的handleJob方法。執(zhí)行完后,通過job.Done()方法通知在主協(xié)程中還等待的job。這樣整個(gè)流程就形成了閉環(huán)。

完整代碼

我們現(xiàn)在看下整體的處理流程,如下圖:

現(xiàn)在我們寫一個(gè)測(cè)試demo。在這里我們定義了一個(gè)全局的flowControl結(jié)構(gòu)體,以作為隊(duì)列和工作協(xié)程的管理。代碼如下:

package main
import (
    "container/list"
    "fmt"
    "net/http"
    "sync"
)
func main() {
    flowControl := NewFlowControl()
    myHandler := MyHandler{
	flowControl: flowControl,
    }
    http.Handle("/", &myHandler)
    http.ListenAndServe(":8080", nil)
}
type MyHandler struct {
    flowControl *FlowControl
}
func (h *MyHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {
	fmt.Println("recieve http request")
	job := &Job{
            DoneChan: make(chan struct{}, 1),
            handleJob: func(job *Job) error {
		w.Header().Set("Content-Type", "application/json")
		w.Write([]byte("Hello World"))
		return nil
            },
	}
	h.flowControl.CommitJob(job)
	fmt.Println("commit job to job queue success")
	job.WaitDone()
}
type FlowControl struct {
    jobQueue *JobQueue
    wm       *WorkerManager
}
func NewFlowControl() *FlowControl {
    jobQueue := NewJobQueue(10)
    fmt.Println("init job queue success")
    m := NewWorkerManager(jobQueue)
    m.createWorker()
    fmt.Println("init worker success")
    control := &FlowControl{
	jobQueue: jobQueue,
	wm:       m,
    }
    fmt.Println("init flowcontrol success")
    return control
}
func (c *FlowControl) CommitJob(job *Job) {
    c.jobQueue.PushJob(job)
    fmt.Println("commit job success")
}

之前有一篇文章是優(yōu)先級(jí)隊(duì)列,實(shí)際上就是該隊(duì)列的高級(jí)實(shí)現(xiàn)版本,可以將不同的請(qǐng)求按優(yōu)先級(jí)分配到不同的隊(duì)列中。有興趣的同學(xué)可參考:Go實(shí)戰(zhàn) 單隊(duì)列到優(yōu)先級(jí)隊(duì)列的實(shí)現(xiàn)

總結(jié)

通過將請(qǐng)求的上下文信息封裝到一個(gè)工作單元中,并將其放入到隊(duì)列中,然后通過消息通道的方式阻塞等待消費(fèi)者執(zhí)行完畢。同時(shí)在隊(duì)列中通過設(shè)置隊(duì)列的容量以解決請(qǐng)求過多而給系統(tǒng)造成壓力的問題。

以上就是Go http請(qǐng)求排隊(duì)處理實(shí)戰(zhàn)的詳細(xì)內(nèi)容,更多關(guān)于Go http請(qǐng)求排隊(duì)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Go語(yǔ)言中基本數(shù)據(jù)類型的相互轉(zhuǎn)換詳解

    Go語(yǔ)言中基本數(shù)據(jù)類型的相互轉(zhuǎn)換詳解

    Go在不同類型的變量之間賦值時(shí)需要顯示轉(zhuǎn)換,不能自動(dòng)轉(zhuǎn)換。這篇文章主要和大家介紹了Go語(yǔ)言中基本數(shù)據(jù)類型的相互轉(zhuǎn)換,感興趣的小伙伴可以了解一下
    2022-10-10
  • Go語(yǔ)言學(xué)習(xí)之將mp4通過rtmp推送流媒體服務(wù)的實(shí)現(xiàn)方法

    Go語(yǔ)言學(xué)習(xí)之將mp4通過rtmp推送流媒體服務(wù)的實(shí)現(xiàn)方法

    對(duì)音視頻一直是小白,決定沉下心來(lái),好好研究一下音視頻知識(shí),下面這篇文章主要給大家介紹了關(guān)于Go語(yǔ)言學(xué)習(xí)之將mp4通過rtmp推送流媒體服務(wù)的實(shí)現(xiàn)方法,需要的朋友可以參考下
    2022-12-12
  • Go 控制協(xié)程(goroutine)的并發(fā)數(shù)量

    Go 控制協(xié)程(goroutine)的并發(fā)數(shù)量

    控制協(xié)程goroutine的并發(fā)數(shù)量是一個(gè)常見的需求,本文就來(lái)介紹一下Go 控制協(xié)程的并發(fā)數(shù)量,具有一定的參考價(jià)值,感興趣的可以了解一下
    2025-02-02
  • 簡(jiǎn)單講解Go程序中使用MySQL的方法

    簡(jiǎn)單講解Go程序中使用MySQL的方法

    這篇文章主要介紹了Go程序中使用MySQL的方法,需要使用第三方包來(lái)進(jìn)行連接,需要的朋友可以參考下
    2015-10-10
  • CSP communicating sequential processes并發(fā)模型

    CSP communicating sequential processes并發(fā)模型

    這篇文章主要為大家介紹了CSP communicating sequential processes并發(fā)模型,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05
  • go語(yǔ)言中的interface使用實(shí)例

    go語(yǔ)言中的interface使用實(shí)例

    這篇文章主要介紹了go語(yǔ)言中的interface使用實(shí)例,go語(yǔ)言中的interface是一組未實(shí)現(xiàn)的方法的集合,如果某個(gè)對(duì)象實(shí)現(xiàn)了接口中的所有方法,那么此對(duì)象就實(shí)現(xiàn)了此接口,需要的朋友可以參考下
    2015-05-05
  • Go語(yǔ)言框架Beego項(xiàng)目搭建的方法步驟

    Go語(yǔ)言框架Beego項(xiàng)目搭建的方法步驟

    這篇文章主要介紹了Go語(yǔ)言框架Beego項(xiàng)目搭建的方法步驟,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-05-05
  • Go語(yǔ)言Slice切片底層的實(shí)現(xiàn)

    Go語(yǔ)言Slice切片底層的實(shí)現(xiàn)

    本文主要介紹了Go語(yǔ)言Slice切片底層的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2025-04-04
  • golang如何用http.NewRequest創(chuàng)建get和post請(qǐng)求

    golang如何用http.NewRequest創(chuàng)建get和post請(qǐng)求

    這篇文章主要介紹了golang如何用http.NewRequest創(chuàng)建get和post請(qǐng)求問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-03-03
  • Go語(yǔ)言實(shí)現(xiàn)AzDG可逆加密算法實(shí)例

    Go語(yǔ)言實(shí)現(xiàn)AzDG可逆加密算法實(shí)例

    這篇文章主要介紹了Go語(yǔ)言實(shí)現(xiàn)AzDG可逆加密算法,實(shí)例分析了AzDG可逆加密算法的實(shí)現(xiàn)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
    2015-02-02

最新評(píng)論

会东县| 丹棱县| 乐都县| 九龙城区| 宝山区| 名山县| 黄浦区| 卓资县| 景泰县| 东丰县| 大埔区| 钦州市| 贡山| 丰都县| 丰都县| 资兴市| 福州市| 临猗县| 宣恩县| 新兴县| 嘉黎县| 宜黄县| 滦南县| 即墨市| 武乡县| 恩平市| 陕西省| 成都市| 弥勒县| 左云县| 万全县| 吉安市| 望谟县| 鹤壁市| 东兰县| 衡山县| 巢湖市| 闽清县| 康保县| 翁源县| 绥棱县|