最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Go實現(xiàn)后臺任務(wù)調(diào)度系統(tǒng)的實例代碼

 更新時間:2023年06月12日 10:10:30   作者:堆棧future  
平常我們在開發(fā)API的時候,前端傳遞過來的大批數(shù)據(jù)需要經(jīng)過后端處理,如果后端處理的速度快,前端響應(yīng)就快,反之則很慢,影響用戶體驗,為了解決這一問題,需要我們自己實現(xiàn)后臺任務(wù)調(diào)度系統(tǒng),本文將介紹如何用Go語言實現(xiàn)后臺任務(wù)調(diào)度系統(tǒng),需要的朋友可以參考下

一、背景

平常我們在開發(fā)API的時候,前端傳遞過來的大批數(shù)據(jù)需要經(jīng)過后端處理,如果后端處理的速度快,前端響應(yīng)就快,反之則很慢,影響用戶體驗。針對這種場景我們一般都是后臺異步處理,不需要前端等待所有的都執(zhí)行完才返回。為了解決這一問題,需要我們自己實現(xiàn)后臺任務(wù)調(diào)度系統(tǒng)。

二、任務(wù)調(diào)度器實現(xiàn)

poll.go

package poller
import (
	"context"
	"fmt"
	"log"
	"sync"
	"time"
)
type Poller struct {
	routineGroup *goroutineGroup // 并發(fā)控制
	workerNum    int // 記錄同時在運行的最大goroutine數(shù)
	sync.Mutex
	ready  chan struct{} // 某個goroutine已經(jīng)準備好了
	metric *metric // 統(tǒng)計當(dāng)前在運行中的goroutine數(shù)量
}
func NewPoller(workerNum int) *Poller {
	return &Poller{
		routineGroup: newRoutineGroup(),
		workerNum:    workerNum,
		ready:        make(chan struct{}, 1),
		metric:       newMetric(),
	}
}
// 調(diào)度器
func (p *Poller) schedule() {
	p.Lock()
	defer p.Unlock()
	if int(p.metric.BusyWorkers()) >= p.workerNum {
		return
	}
	select {
	case p.ready <- struct{}{}: // 只要滿足當(dāng)前goroutine數(shù)量小于最大goroutine數(shù)量 那么就通知poll去調(diào)度goroutine執(zhí)行任務(wù)
	default:
	}
}
func (p *Poller) Poll(ctx context.Context) error {
	for {
		// step01
		p.schedule() // 調(diào)度
		select {
		case <-p.ready: // goroutine準備好之后 這里就會有消息
		case <-ctx.Done():
			return nil
		}
	LOOP:
		for {
			select {
			case <-ctx.Done():
				break LOOP
			default:
				// step02
				task, err := p.fetch(ctx) // 獲取任務(wù)
				if err != nil {
					log.Println("fetch task error:", err.Error())
					break
				}
				fmt.Println(task)
				p.metric.IncBusyWorker() // 當(dāng)前正在運行的goroutine+1
				// step03
				p.routineGroup.Run(func() { // 執(zhí)行任務(wù)
					if err := p.execute(ctx, task); err != nil {
						log.Println("execute task error:", err.Error())
					}
				})
				break LOOP
			}
		}
	}
}
func (p *Poller) fetch(ctx context.Context) (string, error) {
	time.Sleep(1000 * time.Millisecond)
	return "task", nil
}
func (p *Poller) execute(ctx context.Context, task string) error {
	defer func() {
		p.metric.DecBusyWorker() // 執(zhí)行完成之后 goroutine數(shù)量-1
		p.schedule() // 重新調(diào)度下一個goroutine去執(zhí)行任務(wù) 這一步是必須的
	}()
	return nil
}

metric.go

package poller
import "sync/atomic"
type metric struct {
	busyWorkers uint64
}
func newMetric() *metric {
	return &metric{}
}
func (m *metric) IncBusyWorker() uint64 {
	return atomic.AddUint64(&m.busyWorkers, 1)
}
func (m *metric) DecBusyWorker() uint64 {
	return atomic.AddUint64(&m.busyWorkers, ^uint64(0))
}
func (m *metric) BusyWorkers() uint64 {
	return atomic.LoadUint64(&m.busyWorkers)
}

goroutine_group.go

package poller
import "sync"
type goroutineGroup struct {
	waitGroup sync.WaitGroup
}
func newRoutineGroup() *goroutineGroup {
	return new(goroutineGroup)
}
func (g *goroutineGroup) Run(fn func()) {
	g.waitGroup.Add(1)
	go func() {
		defer g.waitGroup.Done()
		fn()
	}()
}
func (g *goroutineGroup) Wait() {
	g.waitGroup.Wait()
}

三、測試

package main
import (
	"context"
	"fmt"
	"ta/poller"
	"go.uber.org/goleak"
	"testing"
)
func TestMain(m *testing.M)  {
	fmt.Println("start")
	goleak.VerifyTestMain(m)
}
func TestPoller(t *testing.T) {
	producer := poller.NewPoller(5)
	producer.Poll(context.Background())
}

結(jié)果:

四、總結(jié)

大家用別的方式也可以實現(xiàn),核心要點就是控制并發(fā)節(jié)奏,防止大量請求打到task service,在這里起到核心作用的就是schedule,它控制著整個任務(wù)系統(tǒng)的調(diào)度。同時還封裝了WaitGroup,這在大多數(shù)開源代碼中都比較常見,大家可以去嘗試。另外就是test case一定得跟上,防止goroutine泄漏。

以上就是Go實現(xiàn)后臺任務(wù)調(diào)度系統(tǒng)的實例代碼的詳細內(nèi)容,更多關(guān)于Go后臺任務(wù)調(diào)度系統(tǒng)的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Go高級特性之并發(fā)處理http詳解

    Go高級特性之并發(fā)處理http詳解

    Golang?作為一種高效的編程語言,提供了多種方法來實現(xiàn)并發(fā)發(fā)送?HTTP?請求,本文將深入探討?Golang?中并發(fā)發(fā)送?HTTP?請求的最佳技術(shù)和實踐,希望對大家有所幫助
    2024-02-02
  • Go設(shè)計模式之享元模式講解和代碼示例

    Go設(shè)計模式之享元模式講解和代碼示例

    享元是一種結(jié)構(gòu)型設(shè)計模式,它允許你在消耗少量內(nèi)存的情況下支持大量對象,模式通過共享多個對象的部分狀態(tài)來實現(xiàn)上述功能,換句話來說,享元會將不同對象的相同數(shù)據(jù)進行緩存以節(jié)省內(nèi)存,本文就將通過代碼示例給大家詳細介紹一下享元模式
    2023-06-06
  • Go語言實現(xiàn)生成樣式美觀的PDF文件

    Go語言實現(xiàn)生成樣式美觀的PDF文件

    使用?Go?語言生成樣式美觀的?PDF?文件是一個常見的需求,尤其是在報告生成、發(fā)票、合同等場景中,下面就跟隨小編一起來學(xué)習(xí)一下具體實現(xiàn)方法吧
    2025-01-01
  • Go?Gin框架優(yōu)雅重啟和停止實現(xiàn)方法示例

    Go?Gin框架優(yōu)雅重啟和停止實現(xiàn)方法示例

    Web應(yīng)用程序中,有時需要重啟或停止服務(wù)器,無論是因為更新代碼還是進行例行維護,這時需要保證應(yīng)用程序的可用性和數(shù)據(jù)的一致性,就需要優(yōu)雅地關(guān)閉和重啟應(yīng)用程序,即不丟失正在處理的請求和不拒絕新的請求,本文將詳解如何在Go語言中使用Gin這個框架實現(xiàn)優(yōu)雅的重啟停止
    2024-01-01
  • GO中的條件變量sync.Cond詳解

    GO中的條件變量sync.Cond詳解

    條件變量是基于互斥鎖的,它必須基于互斥鎖才能發(fā)揮作用,條件變量的初始化離不開互斥鎖,并且它的方法有點也是基于互斥鎖的,這篇文章主要介紹了GO的條件變量sync.Cond,需要的朋友可以參考下
    2023-01-01
  • go第三方庫sqlx操作MySQL及ORM原理

    go第三方庫sqlx操作MySQL及ORM原理

    這篇文章主要為大家介紹了go第三方庫sqlx操作MySQL及ORM實現(xiàn)原理,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-05-05
  • go mod更新指定的tag的包后,go vendor內(nèi)容未更新問題

    go mod更新指定的tag的包后,go vendor內(nèi)容未更新問題

    這篇文章主要介紹了go mod更新指定的tag的包后,go vendor內(nèi)容未更新問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • Golang?中反射的應(yīng)用實例詳解

    Golang?中反射的應(yīng)用實例詳解

    這篇文章主要為大家介紹了Golang?中反射的應(yīng)用實例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-08-08
  • Golang?IOT中的數(shù)據(jù)序列化與解析過程

    Golang?IOT中的數(shù)據(jù)序列化與解析過程

    這篇文章主要介紹了Golang?IOT中的數(shù)據(jù)序列化與解析,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-05-05
  • Go設(shè)計模式之觀察者模式圖解

    Go設(shè)計模式之觀察者模式圖解

    觀察者模式是一種行為設(shè)計模式, 允許你定義一種訂閱機制, 可在對象事件發(fā)生時通知多個 “觀察” 該對象的其他對象,下面這篇文章主要給大家介紹了關(guān)于圖解Go觀察者模式的相關(guān)資料,需要的朋友可以參考下
    2023-07-07

最新評論

大英县| 临高县| 廉江市| 运城市| 高邑县| 平安县| 沧州市| 琼结县| 谷城县| 湘乡市| 南投市| 仙桃市| 苏尼特左旗| 璧山县| 松滋市| 五大连池市| 达日县| 梁山县| 迁西县| 商都县| 江陵县| 越西县| 红安县| 德惠市| 云和县| 嘉峪关市| 黄平县| 宾川县| 高陵县| 盐池县| 抚松县| 岳普湖县| 库车县| 灵武市| 梅州市| 从江县| 垫江县| 吕梁市| 天峻县| 嫩江县| 贺州市|