SpringBoot 進(jìn)行限流的操作方法
大家好,我是飄渺。SpringBoot老鳥(niǎo)系列的文章已經(jīng)寫(xiě)了四篇,每篇的閱讀反響都還不錯(cuò),那今天繼續(xù)給大家?guī)?lái)老鳥(niǎo)系列的第五篇,來(lái)聊聊在SpringBoot項(xiàng)目中如何對(duì)接口進(jìn)行限流,有哪些常見(jiàn)的限流算法,如何優(yōu)雅的進(jìn)行限流(基于AOP)。
首先就讓我們來(lái)看看為什么需要對(duì)接口進(jìn)行限流?
為什么要進(jìn)行限流?
因?yàn)榛ヂ?lián)網(wǎng)系統(tǒng)通常都要面對(duì)大并發(fā)大流量的請(qǐng)求,在突發(fā)情況下(最常見(jiàn)的場(chǎng)景就是秒殺、搶購(gòu)),瞬時(shí)大流量會(huì)直接將系統(tǒng)打垮,無(wú)法對(duì)外提供服務(wù)。那為了防止出現(xiàn)這種情況最常見(jiàn)的解決方案之一就是限流,當(dāng)請(qǐng)求達(dá)到一定的并發(fā)數(shù)或速率,就進(jìn)行等待、排隊(duì)、降級(jí)、拒絕服務(wù)等。
例如,12306購(gòu)票系統(tǒng),在面對(duì)高并發(fā)的情況下,就是采用了限流。 在流量高峰期間經(jīng)常會(huì)出現(xiàn)提示語(yǔ);“當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!”
什么是限流?有哪些限流算法?
限流是對(duì)某一時(shí)間窗口內(nèi)的請(qǐng)求數(shù)進(jìn)行限制,保持系統(tǒng)的可用性和穩(wěn)定性,防止因流量暴增而導(dǎo)致的系統(tǒng)運(yùn)行緩慢或宕機(jī)。
常見(jiàn)的限流算法有三種:
1. 計(jì)數(shù)器限流
計(jì)數(shù)器限流算法是最為簡(jiǎn)單粗暴的解決方案,主要用來(lái)限制總并發(fā)數(shù),比如數(shù)據(jù)庫(kù)連接池大小、線程池大小、接口訪問(wèn)并發(fā)數(shù)等都是使用計(jì)數(shù)器算法。
如:使用 AomicInteger 來(lái)進(jìn)行統(tǒng)計(jì)當(dāng)前正在并發(fā)執(zhí)行的次數(shù),如果超過(guò)域值就直接拒絕請(qǐng)求,提示系統(tǒng)繁忙。
2. 漏桶算法

漏桶算法思路很簡(jiǎn)單,我們把水比作是請(qǐng)求,漏桶比作是系統(tǒng)處理能力極限,水先進(jìn)入到漏桶里,漏桶里的水按一定速率流出,當(dāng)流出的速率小于流入的速率時(shí),由于漏桶容量有限,后續(xù)進(jìn)入的水直接溢出(拒絕請(qǐng)求),以此實(shí)現(xiàn)限流。
3. 令牌桶算法

令牌桶算法的原理也比較簡(jiǎn)單,我們可以理解成醫(yī)院的掛號(hào)看病,只有拿到號(hào)以后才可以進(jìn)行診病。
系統(tǒng)會(huì)維護(hù)一個(gè)令牌(token)桶,以一個(gè)恒定的速度往桶里放入令牌(token),這時(shí)如果有請(qǐng)求進(jìn)來(lái)想要被處理,則需要先從桶里獲取一個(gè)令牌(token),當(dāng)桶里沒(méi)有令牌(token)可取時(shí),則該請(qǐng)求將被拒絕服務(wù)。令牌桶算法通過(guò)控制桶的容量、發(fā)放令牌的速率,來(lái)達(dá)到對(duì)請(qǐng)求的限制。
基于Guava工具類實(shí)現(xiàn)限流
Google開(kāi)源工具包Guava提供了限流工具類RateLimiter,該類基于令牌桶算法實(shí)現(xiàn)流量限制,使用十分方便,而且十分高效,實(shí)現(xiàn)步驟如下:
第一步:引入guava依賴包
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>30.1-jre</version>
</dependency>
第二步:給接口加上限流邏輯
@Slf4j
@RestController
@RequestMapping("/limit")
public class LimitController {
/**
* 限流策略 : 1秒鐘2個(gè)請(qǐng)求
*/
private final RateLimiter limiter = RateLimiter.create(2.0);
private DateTimeFormatter dtf = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");
@GetMapping("/test1")
public String testLimiter() {
//500毫秒內(nèi),沒(méi)拿到令牌,就直接進(jìn)入服務(wù)降級(jí)
boolean tryAcquire = limiter.tryAcquire(500, TimeUnit.MILLISECONDS);
if (!tryAcquire) {
log.warn("進(jìn)入服務(wù)降級(jí),時(shí)間{}", LocalDateTime.now().format(dtf));
return "當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!";
}
log.info("獲取令牌成功,時(shí)間{}", LocalDateTime.now().format(dtf));
return "請(qǐng)求成功";
}
}
以上用到了RateLimiter的2個(gè)核心方法:create()、tryAcquire(),以下為詳細(xì)說(shuō)明
- acquire() 獲取一個(gè)令牌, 改方法會(huì)阻塞直到獲取到這一個(gè)令牌, 返回值為獲取到這個(gè)令牌花費(fèi)的時(shí)間
- acquire(int permits) 獲取指定數(shù)量的令牌, 該方法也會(huì)阻塞, 返回值為獲取到這 N 個(gè)令牌花費(fèi)的時(shí)間
- tryAcquire() 判斷時(shí)候能獲取到令牌, 如果不能獲取立即返回 false
- tryAcquire(int permits) 獲取指定數(shù)量的令牌, 如果不能獲取立即返回 false
- tryAcquire(long timeout, TimeUnit unit) 判斷能否在指定時(shí)間內(nèi)獲取到令牌, 如果不能獲取立即返回 false
- tryAcquire(int permits, long timeout, TimeUnit unit) 同上
第三步:體驗(yàn)效果
通過(guò)訪問(wèn)測(cè)試地址: http://127.0.0.1:8080/limit/test1,反復(fù)刷新并觀察后端日志
WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:37 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:37 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:38 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:38 WARN LimitController:35 - 進(jìn)入服務(wù)降級(jí),時(shí)間2021-09-25 21:39:38 INFO LimitController:39 - 獲取令牌成功,時(shí)間2021-09-25 21:39:38
從以上日志可以看出,1秒鐘內(nèi)只有2次成功,其他都失敗降級(jí)了,說(shuō)明我們已經(jīng)成功給接口加上了限流功能。
當(dāng)然了,我們?cè)趯?shí)際開(kāi)發(fā)中并不能直接這樣用。至于原因嘛,你想呀,你每個(gè)接口都需要手動(dòng)給其加上tryAcquire(),業(yè)務(wù)代碼和限流代碼混在一起,而且明顯違背了DRY原則,代碼冗余,重復(fù)勞動(dòng)。代碼評(píng)審時(shí)肯定會(huì)被老鳥(niǎo)們給嘲笑一番,啥破玩意兒!

所以,我們這里需要想辦法將其優(yōu)化 - 借助自定義注解+AOP實(shí)現(xiàn)接口限流。
基于AOP實(shí)現(xiàn)接口限流
基于AOP的實(shí)現(xiàn)方式也非常簡(jiǎn)單,實(shí)現(xiàn)過(guò)程如下:
第一步:加入AOP依賴
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency>
第二步:自定義限流注解
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD})
@Documented
public @interface Limit {
/**
* 資源的key,唯一
* 作用:不同的接口,不同的流量控制
*/
String key() default "";
/**
* 最多的訪問(wèn)限制次數(shù)
*/
double permitsPerSecond () ;
/**
* 獲取令牌最大等待時(shí)間
*/
long timeout();
/**
* 獲取令牌最大等待時(shí)間,單位(例:分鐘/秒/毫秒) 默認(rèn):毫秒
*/
TimeUnit timeunit() default TimeUnit.MILLISECONDS;
/**
* 得不到令牌的提示語(yǔ)
*/
String msg() default "系統(tǒng)繁忙,請(qǐng)稍后再試.";
}
第三步:使用AOP切面攔截限流注解
@Slf4j
@Aspect
@Component
public class LimitAop {
/**
* 不同的接口,不同的流量控制
* map的key為 Limiter.key
*/
private final Map<String, RateLimiter> limitMap = Maps.newConcurrentMap();
@Around("@annotation(com.jianzh5.blog.limit.Limit)")
public Object around(ProceedingJoinPoint joinPoint) throws Throwable{
MethodSignature signature = (MethodSignature) joinPoint.getSignature();
Method method = signature.getMethod();
//拿limit的注解
Limit limit = method.getAnnotation(Limit.class);
if (limit != null) {
//key作用:不同的接口,不同的流量控制
String key=limit.key();
RateLimiter rateLimiter = null;
//驗(yàn)證緩存是否有命中key
if (!limitMap.containsKey(key)) {
// 創(chuàng)建令牌桶
rateLimiter = RateLimiter.create(limit.permitsPerSecond());
limitMap.put(key, rateLimiter);
log.info("新建了令牌桶={},容量={}",key,limit.permitsPerSecond());
}
rateLimiter = limitMap.get(key);
// 拿令牌
boolean acquire = rateLimiter.tryAcquire(limit.timeout(), limit.timeunit());
// 拿不到命令,直接返回異常提示
if (!acquire) {
log.debug("令牌桶={},獲取令牌失敗",key);
this.responseFail(limit.msg());
return null;
}
}
return joinPoint.proceed();
}
/**
* 直接向前端拋出異常
* @param msg 提示信息
*/
private void responseFail(String msg) {
HttpServletResponse response=((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getResponse();
ResultData<Object> resultData = ResultData.fail(ReturnCode.LIMIT_ERROR.getCode(), msg);
WebUtils.writeJson(response,resultData);
}
}
第四步:給需要限流的接口加上注解
@Slf4j
@RestController
@RequestMapping("/limit")
public class LimitController {
@GetMapping("/test2")
@Limit(key = "limit2", permitsPerSecond = 1, timeout = 500, timeunit = TimeUnit.MILLISECONDS,msg = "當(dāng)前排隊(duì)人數(shù)較多,請(qǐng)稍后再試!")
public String limit2() {
log.info("令牌桶l(fā)imit2獲取令牌成功");
return "ok";
}
@GetMapping("/test3")
@Limit(key = "limit3", permitsPerSecond = 2, timeout = 500, timeunit = TimeUnit.MILLISECONDS,msg = "系統(tǒng)繁忙,請(qǐng)稍后再試!")
public String limit3() {
log.info("令牌桶l(fā)imit3獲取令牌成功");
return "ok";
}
}
第五步:體驗(yàn)效果
通過(guò)訪問(wèn)測(cè)試地址: http://127.0.0.1:8080/limit/test2,反復(fù)刷新并觀察輸出結(jié)果:
正常響應(yīng)時(shí):
{"status":100,"message":"操作成功","data":"ok","timestamp":1632579377104}
觸發(fā)限流時(shí):
{"status":2001,"message":"系統(tǒng)繁忙,請(qǐng)稍后再試!","data":null,"timestamp":1632579332177}
通過(guò)觀察得之,基于自定義注解同樣實(shí)現(xiàn)了接口限流的效果。
小結(jié)
一般在系統(tǒng)上線時(shí)我們通過(guò)對(duì)系統(tǒng)壓測(cè)可以評(píng)估出系統(tǒng)的性能閥值,然后給接口加上合理的限流參數(shù),防止出現(xiàn)大流量請(qǐng)求時(shí)直接壓垮系統(tǒng)。今天我們介紹了幾種常見(jiàn)的限流算法(重點(diǎn)關(guān)注令牌桶算法),基于Guava工具類實(shí)現(xiàn)了接口限流并利用AOP完成了對(duì)限流代碼的優(yōu)化。
在完成優(yōu)化后業(yè)務(wù)代碼和限流代碼解耦,開(kāi)發(fā)人員只要一個(gè)注解,不用關(guān)心限流的實(shí)現(xiàn)邏輯,而且減少了代碼冗余大大提高了代碼可讀性,代碼評(píng)審時(shí)誰(shuí)還能再笑話你?
源碼下載
https://github.com/jianzh5/cloud-blog/
到此這篇關(guān)于SpringBoot 進(jìn)行限流的操作方法的文章就介紹到這了,更多相關(guān)SpringBoot限流內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
使用java實(shí)現(xiàn)Xmodem協(xié)議
這篇文章主要介紹了使用java實(shí)現(xiàn)Xmodem協(xié)議的相關(guān)資料,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2016-12-12
spring無(wú)法讀取properties文件數(shù)據(jù)問(wèn)題詳解
這篇文章主要介紹了spring無(wú)法讀取properties文件數(shù)據(jù)問(wèn)題詳解,需要的朋友可以參考下2020-02-02
詳解Spring Cloud Feign 熔斷配置的一些小坑
這篇文章主要介紹了詳解Spring Cloud Feign 熔斷配置的一些小坑,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
SpringBoot開(kāi)發(fā)教程之AOP日志處理
現(xiàn)在凡是企業(yè)級(jí)的或者稍微大點(diǎn)項(xiàng)目,基本都需要日志管理,下面這篇文章主要給大家介紹了關(guān)于SpringBoot開(kāi)發(fā)教程之AOP日志處理 的相關(guān)資料,需要的朋友可以參考下2021-10-10
IDEA2019.2.2配置Maven3.6.2打開(kāi)出現(xiàn)Unable to import Maven project
這篇文章主要介紹了IDEA2019.2.2配置Maven3.6.2打開(kāi)出現(xiàn)Unable to import Maven project,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
解決@CachePut設(shè)置的key值無(wú)法與@CacheValue的值匹配問(wèn)題
這篇文章主要介紹了解決@CachePut設(shè)置的key的值無(wú)法與@CacheValue的值匹配問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-12-12
Java實(shí)現(xiàn)兩人五子棋游戲(五) 判斷是否有一方勝出
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)兩人五子棋游戲,判斷是否有一方勝出,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-03-03
java如何發(fā)送get請(qǐng)求獲取數(shù)據(jù)(附代碼)
這篇文章主要給大家介紹了關(guān)于java如何發(fā)送get請(qǐng)求獲取數(shù)據(jù)的相關(guān)資料,Java中的GET請(qǐng)求方法是HTTP協(xié)議中的一種請(qǐng)求方式,用于向服務(wù)器請(qǐng)求獲取資源,需要的朋友可以參考下2023-10-10
springboot2升級(jí)到springboot3過(guò)程相關(guān)修改記錄
本文詳細(xì)記錄了將Spring Boot 2升級(jí)到Spring Boot 3的過(guò)程,包括升級(jí)JDK到17、修改依賴、配置文件調(diào)整以及處理一些特定問(wèn)題,如Redisson版本升級(jí)和Swagger配置,感興趣的朋友跟隨小編一起看看吧2024-12-12

