最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Golang你一定要懂的連接池實現(xiàn)

 更新時間:2020年08月19日 14:27:21   作者:源代碼  
這篇文章主要介紹了Golang你一定要懂的連接池實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

問題引入

作為一名Golang開發(fā)者,線上環(huán)境遇到過好幾次連接數(shù)暴增問題(mysql/redis/kafka等)。

糾其原因,Golang作為常駐進程,請求第三方服務或者資源完畢后,需要手動關閉連接,否則連接會一直存在。而很多時候,開發(fā)者不一定記得關閉這個連接。

這樣是不是很麻煩?于是有了連接池。顧名思義,連接池就是管理連接的;我們從連接池獲取連接,請求完畢后再將連接還給連接池;連接池幫我們做了連接的建立、復用以及回收工作。

在設計與實現(xiàn)連接池時,我們通常需要考慮以下幾個問題:

  • 連接池的連接數(shù)目是否有限制,最大可以建立多少個連接?
  • 當連接長時間沒有使用,需要回收該連接嗎?
  • 業(yè)務請求需要獲取連接時,此時若連接池無空閑連接且無法新建連接,業(yè)務需要排隊等待嗎?
  • 排隊的話又存在另外的問題,隊列長度有無限制,排隊時間呢?

Golang連接池實現(xiàn)原理

我們以Golang HTTP連接池為例,分析連接池的實現(xiàn)原理。

結(jié)構(gòu)體Transport

Transport結(jié)構(gòu)定義如下:

type Transport struct {
  //操作空閑連接需要獲取鎖
  idleMu    sync.Mutex
  //空閑連接池,key為協(xié)議目標地址等組合
  idleConn   map[connectMethodKey][]*persistConn // most recently used at end
  //等待空閑連接的隊列,基于切片實現(xiàn),隊列大小無限制
  idleConnWait map[connectMethodKey]wantConnQueue // waiting getConns
  
  //排隊等待建立連接需要獲取鎖
  connsPerHostMu  sync.Mutex
  //每個host建立的連接數(shù)
  connsPerHost   map[connectMethodKey]int
  //等待建立連接的隊列,同樣基于切片實現(xiàn),隊列大小無限制
  connsPerHostWait map[connectMethodKey]wantConnQueue // waiting getConns
  
  //最大空閑連接數(shù)
  MaxIdleConns int
  //每個目標host最大空閑連接數(shù);默認為2(注意默認值)
  MaxIdleConnsPerHost int
  //每個host可建立的最大連接數(shù)
  MaxConnsPerHost int
  //連接多少時間沒有使用則被關閉
  IdleConnTimeout time.Duration
  
  //禁用長連接,使用短連接
  DisableKeepAlives bool
}

可以看到,連接護著隊列,都是一個map結(jié)構(gòu),而key為協(xié)議目標地址等組合,即同一種協(xié)議與同一個目標host可建立的連接或者空閑連接是有限制的。

需要特別注意的是,MaxIdleConnsPerHost默認等于2,即與目標主機最多只維護兩個空閑連接。這會導致什么呢?

如果遇到突發(fā)流量,瞬間建立大量連接,但是回收連接時,由于最大空閑連接數(shù)的限制,該聯(lián)機不能進入空閑連接池,只能直接關閉。結(jié)果是,一直新建大量連接,又關閉大量連,業(yè)務機器的TIME_WAIT連接數(shù)隨之突增。

線上有些業(yè)務架構(gòu)是這樣的:客戶端 ===> LVS ===> Nginx ===> 服務。LVS負載均衡方案采用DR模式,LVS與Nginx配置統(tǒng)一VIP。此時在客戶端看來,只有一個IP地址,只有一個Host。上述問題更為明顯。

最后,Transport也提供了配置DisableKeepAlives,禁用長連接,使用短連接訪問第三方資源或者服務。

連接獲取與回收

Transport結(jié)構(gòu)提供下面兩個方法實現(xiàn)連接的獲取與回收操作。

func (t *Transport) getConn(treq *transportRequest, cm connectMethod) (pc *persistConn, err error) {}

func (t *Transport) tryPutIdleConn(pconn *persistConn) error {}

連接的獲取主要分為兩步走:1)嘗試獲取空閑連接;2)嘗試新建連接:

//getConn方法內(nèi)部實現(xiàn)

if delivered := t.queueForIdleConn(w); delivered {
  return pc, nil
}
  
t.queueForDial(w)

當然,可能獲取不到連接而需要排隊,此時怎么辦呢?當前會阻塞當前協(xié)程了,直到獲取連接為止,或者httpclient超時取消請求:

select {
  case <-w.ready:
    return w.pc, w.err
    
  //超時被取消
  case <-req.Cancel:
    return nil, errRequestCanceledConn
  ……
}

var errRequestCanceledConn = errors.New("net/http: request canceled while waiting for connection") // TODO: unify?

排隊等待空閑連接的邏輯如下:

func (t *Transport) queueForIdleConn(w *wantConn) (delivered bool) {
  //如果配置了空閑超時時間,獲取到連接需要檢測,超時則關閉連接
  if t.IdleConnTimeout > 0 {
    oldTime = time.Now().Add(-t.IdleConnTimeout)
  }
  
  if list, ok := t.idleConn[w.key]; ok {
    for len(list) > 0 && !stop {
      pconn := list[len(list)-1]
      tooOld := !oldTime.IsZero() && pconn.idleAt.Round(0).Before(oldTime)
      //超時了,關閉連接
      if tooOld {
        go pconn.closeConnIfStillIdle()
      }
      
      //分發(fā)連接到wantConn
      delivered = w.tryDeliver(pconn, nil)
    }
  }
  
  //排隊等待空閑連接
  q := t.idleConnWait[w.key]
  q.pushBack(w)
  t.idleConnWait[w.key] = q
}

排隊等待新建連接的邏輯如下:

func (t *Transport) queueForDial(w *wantConn) {
  //如果沒有限制最大連接數(shù),直接建立連接
  if t.MaxConnsPerHost <= 0 {
    go t.dialConnFor(w)
    return
  }
  
  //如果沒超過連接數(shù)限制,直接建立連接
  if n := t.connsPerHost[w.key]; n < t.MaxConnsPerHost {
    go t.dialConnFor(w)
    return
  }
  
  //排隊等待連接建立
  q := t.connsPerHostWait[w.key]
  q.pushBack(w)
  t.connsPerHostWait[w.key] = q
}

連接建立完成后,同樣會調(diào)用tryDeliver分發(fā)連接到wantConn,同時關閉通道w.ready,這樣主協(xié)程糾接觸阻塞了。

func (w *wantConn) tryDeliver(pc *persistConn, err error) bool {
  w.pc = pc
  close(w.ready)
}

請求處理完成后,通過tryPutIdleConn將連接放回連接池;這時候如果存在等待空閑連接的協(xié)程,則需要分發(fā)復用該連接。另外,在回收連接時,還需要校驗空閑連接數(shù)目是否超過限制:

func (t *Transport) tryPutIdleConn(pconn *persistConn) error {
  //禁用長連接;或者最大空閑連接數(shù)不合法
  if t.DisableKeepAlives || t.MaxIdleConnsPerHost < 0 {
    return errKeepAlivesDisabled
  }
  
  if q, ok := t.idleConnWait[key]; ok {
    //如果等待隊列不為空,分發(fā)連接
    for q.len() > 0 {
      w := q.popFront()
      if w.tryDeliver(pconn, nil) {
        done = true
        break
      }
    }
  }
  
  //空閑連接數(shù)目超過限制,默認為DefaultMaxIdleConnsPerHost=2
  idles := t.idleConn[key]
  if len(idles) >= t.maxIdleConnsPerHost() {
    return errTooManyIdleHost
  }

}

空閑連接超時關閉

Golang HTTP連接池如何實現(xiàn)空閑連接的超時關閉邏輯呢?從上述queueForIdleConn邏輯可以看到,每次在獲取到空閑連接時,都會檢測是否已經(jīng)超時,超時則關閉連接。

那如果沒有業(yè)務請求到達,一直不需要獲取連接,空閑連接就不會超時關閉嗎?其實在將空閑連接添加到連接池時,Golang同時還設置了定時器,定時器到期后,自然會關閉該連接。

pconn.idleTimer = time.AfterFunc(t.IdleConnTimeout, pconn.closeConnIfStillIdle)

排隊隊列怎么實現(xiàn)

怎么實現(xiàn)隊列模型呢?很簡單,可以基于切片:

queue  []*wantConn

//入隊
queue = append(queue, w)

//出隊
v := queue[0]
queue[0] = nil
queue = queue[1:]

這樣有什么問題嗎?隨著頻繁的入隊與出隊操作,切片queue的底層數(shù)組,會有大量空間無法復用而造成浪費。除非該切片執(zhí)行了擴容操作。

Golang在實現(xiàn)隊列時,使用了兩個切片head和tail;head切片用于出隊操作,tail切片用于入隊操作;出隊時,如果head切片為空,則交換head與tail。通過這種方式,Golang實現(xiàn)了底層數(shù)組空間的復用。

func (q *wantConnQueue) pushBack(w *wantConn) {
  q.tail = append(q.tail, w)
}

func (q *wantConnQueue) popFront() *wantConn {
  if q.headPos >= len(q.head) {
    if len(q.tail) == 0 {
      return nil
    }
    // Pick up tail as new head, clear tail.
    q.head, q.headPos, q.tail = q.tail, 0, q.head[:0]
  }
  w := q.head[q.headPos]
  q.head[q.headPos] = nil
  q.headPos++
  return w
}

到此這篇關于Golang你一定要懂的連接池實現(xiàn)的文章就介紹到這了,更多相關Golang 連接池內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • go微服務PolarisMesh源碼解析服務端啟動流程

    go微服務PolarisMesh源碼解析服務端啟動流程

    這篇文章主要為大家介紹了go微服務PolarisMesh源碼解析服務端啟動流程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-01-01
  • Go語言實現(xiàn)IP段范圍校驗示例

    Go語言實現(xiàn)IP段范圍校驗示例

    這篇文章主要介紹了Go語言實現(xiàn)IP段范圍校驗示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-09-09
  • Go實現(xiàn)并發(fā)的示例代碼

    Go實現(xiàn)并發(fā)的示例代碼

    Go語言的并發(fā)機制是其強大和流行的一個關鍵特性之一,本文主要介紹了Go實現(xiàn)并發(fā)的示例代碼,具有一定的參考價值,感興趣的可以了解一下
    2023-11-11
  • Go的gin參數(shù)校驗中的validator庫詳解

    Go的gin參數(shù)校驗中的validator庫詳解

    這篇文章主要介紹了Go的gin參數(shù)校驗之validator庫,使用 validator 以后,只需要在定義結(jié)構(gòu)體時使用 binding 或 validate tag標識相關校驗規(guī)則,就可以進行參數(shù)校驗了,而不用自己單獨去寫常見的校驗規(guī)則,需要的朋友可以參考下
    2023-08-08
  • Golang圖片驗證碼的使用方法

    Golang圖片驗證碼的使用方法

    最近在使用到Golang進行原生開發(fā),注冊和登錄頁面都涉及到圖片驗證碼的功能,支持很多類型的驗證方式,例如支持數(shù)字類型、字母類型、音頻驗證碼、中文驗證碼,本文給大家介紹Golang圖片驗證碼的使用,感興趣的朋友跟隨小編一起看看吧
    2024-05-05
  • Go并發(fā)的方法之goroutine模型與調(diào)度策略

    Go并發(fā)的方法之goroutine模型與調(diào)度策略

    在go中,協(xié)程co-routine被改為goroutine,一個goroutine只占幾kb,因此可以有大量的goroutine存在,另一方面goroutine 的調(diào)度器非常靈活,本文給大家介紹下Go并發(fā)的方法之goroutine模型與調(diào)度策略,感興趣的朋友一起看看吧
    2021-11-11
  • 一篇文章學會GO語言中的變量

    一篇文章學會GO語言中的變量

    Go語言是靜態(tài)類型語言,因此變量有明確類型的,編譯器也會檢查變量類型的正確性,下面這篇文章主要給大家介紹了關于GO語言中變量的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-07-07
  • golang實戰(zhàn)之truncate日志文件詳解

    golang實戰(zhàn)之truncate日志文件詳解

    這篇文章主要給大家介紹了關于golang實戰(zhàn)之truncate日志文件的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2018-07-07
  • 深入了解Go語言中web框架的中間件運行機制

    深入了解Go語言中web框架的中間件運行機制

    大家在使用iris框架搭建web系統(tǒng)時,一定會用到中間件。那么你了解中間件的運行機制嗎?你知道為什么在iris和gin框架的請求處理函數(shù)中要加c.Next()函數(shù)嗎?本文就和大家一起探究該問題的答案
    2023-02-02
  • Go語言中的變量聲明和賦值

    Go語言中的變量聲明和賦值

    這篇文章主要介紹了Go語言中的變量聲明和賦值的方法,十分的細致全面,有需要的小伙伴可以參考下。
    2015-04-04

最新評論

江门市| 比如县| 遂平县| 竹北市| 漠河县| 林西县| 公主岭市| 峨眉山市| 资溪县| 化德县| 横山县| 鹤山市| 方山县| 宜良县| 郸城县| 顺平县| 正安县| 无棣县| 滦南县| 常宁市| 邯郸县| 开封市| 碌曲县| 靖江市| 大竹县| 定襄县| 蓝山县| 北票市| 长沙县| 苗栗市| 新建县| 青川县| 沙田区| 周宁县| 武鸣县| 渭源县| 霍山县| 乐陵市| 宾川县| 治多县| 平遥县|