快捷導(dǎo)航

go實(shí)現(xiàn)限流功能示例

更新時(shí)間：2022年08月16日 14:11:14 作者：pdudo

這篇文章主要為大家介紹了go實(shí)現(xiàn)限流功能示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

引言

在我們?nèi)粘＞S護(hù)中，經(jīng)常有爬蟲進(jìn)行爬取網(wǎng)頁，少則1秒鐘請求數(shù)十次，多則達(dá)百次，嚴(yán)重消耗了服務(wù)器帶寬，且影響正常使用者，好在nginx可以配合lua可以完成類似的需求，本次我們將使用go來完成本需求。

需求背景

在我們?nèi)粘＞S護(hù)中，可能需要這樣一種工具，來對(duì)某些路由，對(duì)特定IP或者用戶ID,在特定時(shí)間內(nèi)，限制最大訪問次數(shù)，這樣有效的避免服務(wù)器帶寬資源的浪費(fèi)的同時(shí)也能接入更多用戶請求，本次使用go來做一個(gè)類似的。

web demo搭建

我們先來使用SampleHttp編寫一個(gè)最簡單的web服務(wù)器，定義路由queryAll，收到后，假設(shè)將返回客戶端1w字節(jié)的數(shù)據(jù)信息。

在啟動(dòng)web服務(wù)器后，我們使用curl進(jìn)行測試

命令：

curl 127.0.0.1:8083/queryAll

限制訪問次數(shù)編寫

在上述整體需求的情況下，我們需要編寫在規(guī)定時(shí)間限制訪問次數(shù)的需求，這里我們?yōu)榱朔奖?，使?code>ip來作為限制條件，其核心功能分類大致分為：

從未訪問過web服務(wù)器
訪問過web服務(wù)器，在規(guī)定時(shí)間內(nèi)沒有超出限制
訪問過web服務(wù)器，在在規(guī)定時(shí)間內(nèi)超出了限制
訪問過web服務(wù)器，時(shí)間間隔超過了規(guī)定時(shí)間

如上分類，除了第三種需要限流外，其他則視為正常訪問即可。

核心存儲(chǔ)，我們可以選擇go map，其中key為ip，value為結(jié)構(gòu)體，該結(jié)構(gòu)體包含訪問次數(shù)和創(chuàng)建間戳。

其定義如下

我們來根據(jù)如上定義的核心功能來編寫程序

從未訪問過服務(wù)器

我們根據(jù)map中是否存在這個(gè)key來判斷，如

_, ok := visitHashMap[ip]; if !ok {
    // 如果沒有該ip的訪問次數(shù),則新增記錄
}

訪問過服務(wù)器，在規(guī)定時(shí)間超過了限制

if time.Now().Unix()-visit.createUnixTime >= interval*60 {
    // 在規(guī)定時(shí)間超過了限制，需要重新計(jì)算閾值
}

超過最大允許訪問數(shù)

if visitHashMap[ip].number >= maxNum {
    // 超過允許最大訪問次數(shù)
}

整理為其核心函數(shù)如下

功能測試

我們在定義路由地方，將來訪者IP傳入，就可以根據(jù)其返回的bool值來判斷是否需要限制訪問了。

其main函數(shù)定義如下:

func main() {
	SampleHttp.Route("get","/queryAll", func(info *SampleHttp.HttpInfo) {
		ip := strings.Split(info.RemoteIP,":")[0]
		if ! limits(ip) {
			info.Write([]byte(fmt.Sprintf("%s 已經(jīng)被限制訪問，在%d分鐘內(nèi)，訪問達(dá)到%d次",time.Now(),interval,visitHashMap[ip].number)))
			return
		}
		info.Write([]byte(fmt.Sprintf("%s 收到queryAll請求,開始查詢,返回1W字節(jié)數(shù)據(jù)信息...,統(tǒng)計(jì)信息: 在%d分鐘內(nèi)，訪問達(dá)到%d次",time.Now(),interval,visitHashMap[ip].number)))
	})
	visitHashMap = make(map[string]visitInfo,0)
	SampleHttp.StartServer("0.0.0.0:8083")
}

我們將開啟服務(wù)器來測試一下