使用Golang的singleflight防止緩存擊穿的方法
在使用緩存時(shí)，容易發(fā)生緩存擊穿。
緩存擊穿：一個(gè)存在的key，在緩存過(guò)期的瞬間，同時(shí)有大量的請(qǐng)求過(guò)來(lái)，造成所有請(qǐng)求都去讀dB，這些請(qǐng)求都會(huì)擊穿到DB，造成瞬時(shí)DB請(qǐng)求量大、壓力驟增。
singleflight
介紹
import "golang.org/x/sync/singleflight"
singleflight類的使用方法就新建一個(gè)singleflight.Group，使用其方法Do或者DoChan來(lái)包裝方法，被包裝的方法在對(duì)于同一個(gè)key，只會(huì)有一個(gè)協(xié)程執(zhí)行，其他協(xié)程等待那個(gè)協(xié)程執(zhí)行結(jié)束后，拿到同樣的結(jié)果。
Group結(jié)構(gòu)體
代表一類工作，同一個(gè)group中，同樣的key同時(shí)只能被執(zhí)行一次。
Do方法
func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool)
key：同一個(gè)key，同時(shí)只有一個(gè)協(xié)程執(zhí)行。
fn：被包裝的函數(shù)。
v：返回值，即執(zhí)行的結(jié)果。其他等待的協(xié)程都會(huì)拿到。
shared：表示是否有其他協(xié)程得到了這個(gè)結(jié)果v。
DoChan方法
func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result
與Do方法一樣，只是返回的是一個(gè)channel，執(zhí)行結(jié)果會(huì)發(fā)送到channel中，其他等待的協(xié)程都可以從channel中拿到結(jié)果。
ref：https://godoc.org/golang.org/x/sync/singleflight
示例
使用Do方法來(lái)模擬，解決緩存擊穿的問(wèn)題
func main() {
var singleSetCache singleflight.Group
getAndSetCache:=func (requestID int,cacheKey string) (string, error) {
log.Printf("request %v start to get and set cache...",requestID)
value,_, _ :=singleSetCache.Do(cacheKey, func() (ret interface{}, err error) {//do的入?yún)ey，可以直接使用緩存的key，這樣同一個(gè)緩存，只有一個(gè)協(xié)程會(huì)去讀DB
log.Printf("request %v is setting cache...",requestID)
time.Sleep(3*time._Second_)
log.Printf("request %v set cache success!",requestID)
return "VALUE",nil
})
return value.(string),nil
}
cacheKey:="cacheKey"
for i:=1;i<10;i++{//模擬多個(gè)協(xié)程同時(shí)請(qǐng)求
go func(requestID int) {
value,_:=getAndSetCache(requestID,cacheKey)
log.Printf("request %v get value: %v",requestID,value)
}(i)
}
time.Sleep(20*time._Second_)
}
輸出：
2020/04/12 18:18:40 request 4 start to get and set cache...
2020/04/12 18:18:40 request 4 is setting cache...
2020/04/12 18:18:40 request 2 start to get and set cache...
2020/04/12 18:18:40 request 7 start to get and set cache...
2020/04/12 18:18:40 request 5 start to get and set cache...
2020/04/12 18:18:40 request 1 start to get and set cache...
2020/04/12 18:18:40 request 6 start to get and set cache...
2020/04/12 18:18:40 request 3 start to get and set cache...
2020/04/12 18:18:40 request 8 start to get and set cache...
2020/04/12 18:18:40 request 9 start to get and set cache...
2020/04/12 18:18:43 request 4 set cache success!
2020/04/12 18:18:43 request 4 get value: VALUE
2020/04/12 18:18:43 request 9 get value: VALUE
2020/04/12 18:18:43 request 6 get value: VALUE
2020/04/12 18:18:43 request 3 get value: VALUE
2020/04/12 18:18:43 request 8 get value: VALUE
2020/04/12 18:18:43 request 1 get value: VALUE
2020/04/12 18:18:43 request 5 get value: VALUE
2020/04/12 18:18:43 request 2 get value: VALUE
2020/04/12 18:18:43 request 7 get value: VALUE`
可以看到確實(shí)只有一個(gè)協(xié)程執(zhí)行了被包裝的函數(shù)，并且其他協(xié)程都拿到了結(jié)果。
源碼分析
看一下這個(gè)Do方法是怎么實(shí)現(xiàn)的。
首先看一下Group的結(jié)構(gòu)：
type Group struct {
mu sync.Mutex
m map[string]*call //保存key對(duì)應(yīng)的函數(shù)執(zhí)行過(guò)程和結(jié)果的變量。
}
Group的結(jié)構(gòu)非常簡(jiǎn)單，一個(gè)鎖來(lái)保證并發(fā)安全，另一個(gè)map用來(lái)保存key對(duì)應(yīng)的函數(shù)執(zhí)行過(guò)程和結(jié)果的變量。
看下call的結(jié)構(gòu)：
type call struct {
wg sync.WaitGroup //用WaitGroup實(shí)現(xiàn)只有一個(gè)協(xié)程執(zhí)行函數(shù)
val interface{} //函數(shù)執(zhí)行結(jié)果
err error
forgotten bool
dups int //含義是duplications，即同時(shí)執(zhí)行同一個(gè)key的協(xié)程數(shù)量
chans []chan<- Result
}
看下Do方法
func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool) {
g.mu.Lock()//寫Group的m字段時(shí)，加鎖保證寫安全。
if g.m == nil {
g.m = make(map[string]*call)
}
if c, ok := g.m[key]; ok {//如果key已經(jīng)存在，說(shuō)明已經(jīng)有協(xié)程在執(zhí)行，則dups++，并等待其執(zhí)行完畢后，返回其執(zhí)行結(jié)果，執(zhí)行結(jié)果保存在對(duì)應(yīng)的call的val字段里
c.dups++
g.mu.Unlock()
c.wg.Wait()
return c.val, c.err, true
}
//如果key不存在，則新建一個(gè)call，并使用WaitGroup來(lái)阻塞其他協(xié)程，同時(shí)在m字段里寫入key和對(duì)應(yīng)的call
c := new(call)
c.wg.Add(1)
g.m[key] = c
g.mu.Unlock()
g.doCall(c, key, fn)//第一個(gè)進(jìn)來(lái)的協(xié)程來(lái)執(zhí)行這個(gè)函數(shù)
return c.val, c.err, c.dups > 0
}
繼續(xù)看下g.doCall里具體干了什么
func (g *Group) doCall(c *call, key string, fn func() (interface{}, error)) {
c.val, c.err = fn()//執(zhí)行被包裝的函數(shù)
c.wg.Done()//執(zhí)行完畢后，就可以通知其他協(xié)程可以拿結(jié)果了
g.mu.Lock()
if !c.forgotten {//其實(shí)這里是為了保證執(zhí)行完畢之后，對(duì)應(yīng)的key被刪除，Group有一個(gè)方法Forget（key string），可以用來(lái)主動(dòng)刪除key，這里是判斷那個(gè)方法是否被調(diào)用過(guò)，被調(diào)用過(guò)則字段forgotten會(huì)置為true，如果沒(méi)有被調(diào)用過(guò)，則在這里把key刪除。
delete(g.m, key)
}
for _, ch := range c.chans {//將執(zhí)行結(jié)果發(fā)送到channel里，這里是給DoChan方法使用的
ch <- Result{c.val, c.err, c.dups > 0}
}
g.mu.Unlock()
}
由此看來(lái)，其實(shí)現(xiàn)是非常簡(jiǎn)單的。不得不贊嘆一百來(lái)行代碼就實(shí)現(xiàn)了功能。
其他
順便附上DoChan方法的使用示例：
func main() {
var singleSetCache singleflight.Group
getAndSetCache:=func (requestID int,cacheKey string) (string, error) {
log.Printf("request %v start to get and set cache...",requestID)
retChan:=singleSetCache.DoChan(cacheKey, func() (ret interface{}, err error) {
log.Printf("request %v is setting cache...",requestID)
time.Sleep(3*time._Second_)
log.Printf("request %v set cache success!",requestID)
return "VALUE",nil
})
var ret singleflight.Result
timeout := time.After(5 * time._Second_)
select {//加入了超時(shí)機(jī)制
case <-timeout:
log.Printf("time out!")
return "",errors.New("time out")
case ret =<- retChan://從chan中取出結(jié)果
return ret.Val.(string),ret.Err
}
return "",nil
}
cacheKey:="cacheKey"
for i:=1;i<10;i++{
go func(requestID int) {
value,_:=getAndSetCache(requestID,cacheKey)
log.Printf("request %v get value: %v",requestID,value)
}(i)
}
time.Sleep(20*time._Second_)
}
看下DoChan的源碼
func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result {
ch := make(chan Result, 1)
g.mu.Lock()
if g.m == nil {
g.m = make(map[string]*call)
}
if c, ok := g.m[key]; ok {
c.dups++
c.chans = append(c.chans, ch)//可以看到，每個(gè)等待的協(xié)程，都有一個(gè)結(jié)果channel。從之前的g.doCall里也可以看到，每個(gè)channel都給塞了結(jié)果。為什么不所有協(xié)程共用一個(gè)channel？因?yàn)槟菢泳偷迷赾hannel里塞至少與協(xié)程數(shù)量一樣的結(jié)果數(shù)量，但是你卻無(wú)法保證用戶一個(gè)協(xié)程只讀取一次。
g.mu.Unlock()
return ch
}
c := &call{chans: []chan<- Result{ch}}
c.wg.Add(1)
g.m[key] = c
g.mu.Unlock()
go g.doCall(c, key, fn)
return ch
}
到此這篇關(guān)于使用Golang的singleflight防止緩存擊穿的方法的文章就介紹到這了,更多相關(guān)Golang singleflight防止緩存擊穿內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Go?語(yǔ)言中的?Weighted?并發(fā)原語(yǔ)，包括?Weighted?的基本使用方法、實(shí)現(xiàn)原理、使用注意事項(xiàng)等內(nèi)容，感興趣的小伙伴可以了解一下2023-06-06
在安裝和使用Go時(shí),必須要正確地配置環(huán)境變量,本文主要介紹了go env環(huán)境變量配置的使用,具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11
這篇文章主要介紹了golang一些常用的靜態(tài)檢查工具,本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
Go標(biāo)準(zhǔn)庫(kù)http與fasthttp服務(wù)端性能對(duì)比場(chǎng)景分析
這篇文章主要介紹了Go標(biāo)準(zhǔn)庫(kù)http與fasthttp服務(wù)端性能比較,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-06-06
解決Golang在Web開(kāi)發(fā)時(shí)前端莫名出現(xiàn)的空白換行
最近在使用Go語(yǔ)言開(kāi)發(fā)Web時(shí)，在前端莫名出現(xiàn)了空白換行，找了網(wǎng)上的一些資料終于找到了解決方法，現(xiàn)在分享給大家，有需要的可以參考。2016-08-08
為了更深入了解golang連接池的實(shí)現(xiàn)，自已又重寫了一遍連接池。文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08
作為一個(gè)go語(yǔ)言程序員,覺(jué)得自己有義務(wù)為go新手開(kāi)一條更簡(jiǎn)單便捷的上手之路,下面這篇文章主要給大家介紹了關(guān)于GoLand安裝與環(huán)境配置的完整步驟,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12
這篇文章主要介紹了go中控制goroutine數(shù)量的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
這篇文章主要介紹了golang 如何刪除二進(jìn)制文件中的源碼路徑信息，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-04-04
Golang中g(shù)RPC內(nèi)置Trace的實(shí)現(xiàn)
gRPC內(nèi)置了基于golang.org/x/net/trace包的客戶端和服務(wù)端請(qǐng)求追蹤,默認(rèn)開(kāi)啟狀態(tài),可以查看事件和請(qǐng)求日志,幫助調(diào)試,具有一定的參考價(jià)值,感興趣的可以了解一下2025-03-03