java分布式面試降級(jí)組件Hystrix的功能特性
引言
關(guān)于 Hystrix 的問(wèn)題匯總后兩點(diǎn):
- Hystrix主要功能覆蓋考察。
- Hystrix工作中使用經(jīng)驗(yàn)考察。
Hystrix語(yǔ)義為“豪豬”,它后背帶刺兒且具有自我保護(hù)的能力,這是不是就很好理解它的功能了。雖然我沒(méi)有直接使用過(guò)Hystrix,但是類似的同樣功能的框架功能和原理都大同小異,所以我決定針對(duì) Hystrix 單獨(dú)拆分開(kāi)講解。
同時(shí)我覺(jué)得Hystrix中有很多設(shè)計(jì)思想非常優(yōu)秀,非常值得我們學(xué)習(xí),學(xué)習(xí)這些設(shè)計(jì)思想,你可以從更高維度去思考如何讓系統(tǒng)更加穩(wěn)定。
1、面試官:能簡(jiǎn)單介紹下Hystrix有哪些功能嗎?
問(wèn)題分析:了解Hystrix的功能,同時(shí)也能從Hystrix優(yōu)秀的設(shè)計(jì)理念中得到架構(gòu)設(shè)計(jì)方面的啟發(fā)。
答:我在項(xiàng)目里使用到,系統(tǒng)在 Hystrix 的保護(hù)下,可以長(zhǎng)期處于高可用的狀態(tài),常用的功能有以下幾點(diǎn):
1.1、fail-fast(快速失?。?/h3>
Hystrix設(shè)計(jì)中提供了 fail-fast(快速失?。┖涂焖倩謴?fù)機(jī)制。
Tip:不知道之前你是否了解過(guò)fail-fast機(jī)制,或者面試Java基礎(chǔ)的時(shí)候,HashMap 中的 Iterator 迭代器,Iterator的設(shè)計(jì)就是 fail-fast 的,**快速失?。╢ail—fast)**是Java集合中的一種機(jī)制, 在用迭代器遍歷一個(gè)集合對(duì)象時(shí),如果遍歷過(guò)程中對(duì)集合對(duì)象的內(nèi)容進(jìn)行了修改(增加、刪除、修改),則會(huì)拋出Concurrent Modification Exception。
我第一次學(xué)習(xí) HashMap 并不是很懂 fail-fast,覺(jué)得快速失敗只是應(yīng)用在Java集合類中,防止Java非線程安全集合的并發(fā)操作,學(xué)習(xí)使用 Hystrix 后,原來(lái)快速失敗機(jī)制還可以應(yīng)用在系統(tǒng)架構(gòu)設(shè)計(jì)中,對(duì)無(wú)法及時(shí)處理的請(qǐng)求快速失?。╢ail-fast),降低系統(tǒng)負(fù)載,而不是排隊(duì)。
1.2、Fallback優(yōu)雅降級(jí)機(jī)制
Fallback 字面意思是遇到Fall就啟動(dòng)back,了解到Fallback的機(jī)制后,我馬上在項(xiàng)目中用起來(lái)。
看真實(shí)例子:
@Override
@Degrade(key = "getOrderByParamFromES", fallBackMethod = "getOrderByParamFromMysql")
public OrderResult getOrderByParamFromES(OrderSearchParam param) {
//走ES查詢
......
return OrderResult;
}
//fallBack后調(diào)用getOrderByParamFromMysql方法
public OrderResult getOrderByParamFromMysql(OrderSearchParam param) {
//走mysql查詢
......
return OrderResult;
}
代碼解釋:
fallBackMethod = "getOrderByParamFromMysql"
就是在ES查詢故障失敗后,系統(tǒng)自動(dòng)降級(jí)調(diào)getOrderByParamFromMysql方法,走mysql查詢,正常情況下,getOrderByParamFromMysql是不會(huì)被調(diào)用的,除非Fall。
1.3、線程/信號(hào)量隔離機(jī)制
線程隔離:
請(qǐng)求會(huì)根據(jù)自己的key獲取對(duì)應(yīng)線程池中的線程執(zhí)行,動(dòng)態(tài)設(shè)置線程池參數(shù),這樣自然地將不同的請(qǐng)求隔離開(kāi)來(lái),支持異步來(lái)提高接口性能。不同請(qǐng)求直接不影響,例如service1請(qǐng)求緩慢,但是service2和service3還是可以正常工作,缺點(diǎn)就是線程切換影響性能。
信號(hào)量隔離:
一個(gè)請(qǐng)求中訪問(wèn)了service1、service2、service3,其中service1請(qǐng)求超時(shí),將導(dǎo)致整個(gè)信號(hào)量一直不釋放,其他請(qǐng)求一直無(wú)法接受。
對(duì)于延遲小的請(qǐng)求(例如訪問(wèn)緩存或者本地訪問(wèn)數(shù)據(jù)庫(kù))來(lái)說(shuō),線程池帶來(lái)的開(kāi)銷是非常高的,你可以考慮采用其他方法,例如非阻塞信號(hào)量(不支持超時(shí))來(lái)實(shí)現(xiàn)依賴服務(wù)的隔離。但絕大多數(shù)情況下,Netflix 更偏向于使用線程池來(lái)隔離依賴服務(wù),因?yàn)槠鋷?lái)的額外開(kāi)銷可以接受,并且能支持包括超時(shí)在內(nèi)的所有功能。
2、面試官:剛剛說(shuō)到線程隔離,那實(shí)際使用中是否打開(kāi)超時(shí)線程中斷開(kāi)關(guān)?
問(wèn)題分析:考察實(shí)際使用經(jīng)驗(yàn),根據(jù)線程本身的特點(diǎn),線程超時(shí),如果不及時(shí)中斷,會(huì)浪費(fèi)線程資源。
答:一般情況下我們會(huì)打開(kāi)超時(shí)中斷開(kāi)關(guān),目的是及時(shí)釋放線程資源。
通過(guò)hystrix.command.default.execution.isolation.thread.interruptOnTimeout = true 設(shè)置。
但是如果是寫數(shù)據(jù)庫(kù)命令,或者記錄關(guān)鍵日志命令的情況下,需要命令執(zhí)行完畢情況,可關(guān)閉超時(shí)中斷。
(面試官點(diǎn)頭滿意,相信我確實(shí)有Hystrix的維護(hù)經(jīng)驗(yàn))
3、面試官:那你是如何估計(jì)線程池大小的?
答:要正確設(shè)置線程池的大小,需要分析所部署系統(tǒng)的CPU個(gè)數(shù)、內(nèi)存大小、任務(wù)類型(計(jì)算密集、IO密集等),對(duì)于計(jì)算密集型任務(wù),線程池大小和CPU個(gè)數(shù)相近通常能實(shí)現(xiàn)最優(yōu)利用率,對(duì)于IO密集型任務(wù),線程池的最優(yōu)大小的計(jì)算公式:線程池大小=CPU個(gè)數(shù)* (1 + 任務(wù)等待時(shí)間/ 任務(wù)處理時(shí)間)。
深入分析
Hystrix歷史
Hystrix源自Netflix API團(tuán)隊(duì)于2011年開(kāi)始的項(xiàng)目。2012年,Hystrix不斷發(fā)展和成熟,Netflix內(nèi)部的許多團(tuán)隊(duì)都采用了它。如今,每天在Netflix上通過(guò)Hystrix執(zhí)行數(shù)百億個(gè)線程隔離和數(shù)千億個(gè)信號(hào)量隔離的調(diào)用。這極大地提高了正常運(yùn)行時(shí)間和彈性。
在高并發(fā)訪問(wèn)下,系統(tǒng)所依賴的服務(wù)的穩(wěn)定性對(duì)系統(tǒng)的影響非常大,依賴有很多不可控的因素,比如網(wǎng)絡(luò)連接變慢,資源突然繁忙,暫時(shí)不可用,服務(wù)脫機(jī)等。我們要構(gòu)建穩(wěn)定、可靠的分布式系統(tǒng),就必須要有這樣一套容錯(cuò)方法。
Hystrix的主要功能特性
熔斷器機(jī)制:熔斷器可以理解成保險(xiǎn)絲,項(xiàng)目里使用Hystrix Command,當(dāng) Hystrix Command請(qǐng)求后,如果服務(wù)失敗數(shù)量超過(guò)一定比例(比如默認(rèn)50%),斷路器自動(dòng)熔斷,該服務(wù)將進(jìn)入熔斷狀態(tài),后續(xù)請(qǐng)求都會(huì)進(jìn)入fallback。
降級(jí)機(jī)制:通過(guò)fallbackMethod注解,當(dāng)請(qǐng)求后端服務(wù)出現(xiàn)異常的時(shí)候, 為了避免影響到其他業(yè)務(wù)邏輯,可以使用fallback方法指定的方法快速返回,或啟用“備胎方案”。
環(huán)境隔離:包括線程隔離和信號(hào)量隔離。
cache:Hystrix支持將一個(gè)請(qǐng)求結(jié)果緩存起來(lái),下一個(gè)具有相同key的請(qǐng)求將直接從緩存中取出結(jié)果,減少請(qǐng)求開(kāi)銷。
Hystrix Demo
通過(guò)一個(gè)demo快速理解Hystrix fallback 的使用
@Service
public class OrderQueryService {
/**
* 訂單查詢接口
*/
@HystrixCommand(fallbackMethod = "queryOrderBack")
public List<Order> queryOrderFromRedis(String userId) {
// todo reids查詢邏輯
return orderlist;
}
/**
* 訂單查詢接口失敗降級(jí)方案
*/
@SuppressWarnings("unused")
private String queryOrderBack(String userId) {
// todo 如,走ES查詢邏輯 或者 直接提示用戶“請(qǐng)稍后再試”
// todo 通知維護(hù)人員處理故障
return "";
}
}代碼解釋:
程序正常時(shí),查詢訂單服務(wù)是走queryOrderFromRedis方法的邏輯,當(dāng)queryOrderFromRedis方法拋出異常,根據(jù)設(shè)定的異常比例,或者指定哪個(gè)異常,達(dá)到閾值觸法fallback開(kāi)關(guān),程序切換到queryOrderBack,設(shè)置程序走ES查詢邏輯 或者 直接提示用戶“請(qǐng)稍后再試”,根據(jù)業(yè)務(wù)自行設(shè)置。
哪些情況下會(huì)觸發(fā)fallback?
| Failure Type | Exception class | Exception.cause | 觸發(fā)fallback |
|---|---|---|---|
| FAILURE | HystrixRuntimeException | underlying exception (user-controlled) | YES |
| SEMAPHORE_REJECTED | HystrixRuntimeException | j.l.RuntimeException | YES |
| SHORT_CIRCUITED | HystrixRuntimeException | j.l.RuntimeException | YES |
| THREAD_POOL_REJECTED | HystrixRuntimeException | j.u.c.RejectedExecutionException | YES |
| TIMEOUT | HystrixRuntimeException | j.u.c.TimeoutException | YES |
FAILURE:任意RuntimeException異常都可以激活fallback。
THREAD_POOL_REJECTED:并發(fā)執(zhí)行的任務(wù)數(shù)超過(guò)線程池和隊(duì)列之和時(shí),也就是Hystrix的線程隔離機(jī)制。
SEMAPHORE_REJECTED:類似 THREAD_POOL_REJECTED ,當(dāng)服務(wù)的并發(fā)數(shù)大于信號(hào)量閾值時(shí)將進(jìn)入fallback。比如配置程序執(zhí)行并發(fā)數(shù)不能大于3,由于信號(hào)量隔離下無(wú)論調(diào)用哪種命令執(zhí)行方法,Hystrix都不會(huì)創(chuàng)建新線程執(zhí)行run()/construct(),所以調(diào)用程序需要自己創(chuàng)建多個(gè)線程來(lái)模擬并發(fā)調(diào)用execute(),最后看到一旦并發(fā)線程>3,后續(xù)請(qǐng)求都進(jìn)入fallback。
SHORT_CIRCUITED:在一定時(shí)間內(nèi),用戶請(qǐng)求超過(guò)一定的比例失敗時(shí),如超時(shí),異常,線程并發(fā)達(dá)到限定最大值等,斷路器都會(huì)打開(kāi);短路器打開(kāi)后所有請(qǐng)求直接走fallback,可以通過(guò)。circuitBreakerErrorThresholdPercentage方法設(shè)置百分比,默認(rèn)是50。
TIMEOUT:即超時(shí)請(qǐng)求。
附錄:Hystrix策略配置
/* --------------統(tǒng)計(jì)相關(guān)------------------*/ // 統(tǒng)計(jì)滾動(dòng)的時(shí)間窗口,默認(rèn):5000毫秒(取自circuitBreakerSleepWindowInMilliseconds) private final HystrixProperty metricsRollingStatisticalWindowInMilliseconds; // 統(tǒng)計(jì)窗口的Buckets的數(shù)量,默認(rèn):10個(gè),每秒一個(gè)Buckets統(tǒng)計(jì) private final HystrixProperty metricsRollingStatisticalWindowBuckets; // number of buckets in the statisticalWindow // 是否開(kāi)啟監(jiān)控統(tǒng)計(jì)功能,默認(rèn):true private final HystrixProperty metricsRollingPercentileEnabled; /* --------------熔斷器相關(guān)------------------*/ // 熔斷器在整個(gè)統(tǒng)計(jì)時(shí)間內(nèi)是否開(kāi)啟的閥值,默認(rèn)20。也就是在metricsRollingStatisticalWindowInMilliseconds(默認(rèn)10s)內(nèi)至少請(qǐng)求20次,熔斷器才發(fā)揮起作用 private final HystrixProperty circuitBreakerRequestVolumeThreshold; // 熔斷時(shí)間窗口,默認(rèn):5秒.熔斷器中斷請(qǐng)求5秒后會(huì)進(jìn)入半打開(kāi)狀態(tài),放下一個(gè)請(qǐng)求進(jìn)來(lái)重試,如果該請(qǐng)求成功就關(guān)閉熔斷器,否則繼續(xù)等待一個(gè)熔斷時(shí)間窗口 private final HystrixProperty circuitBreakerSleepWindowInMilliseconds; //是否啟用熔斷器,默認(rèn)true. 啟動(dòng) private final HystrixProperty circuitBreakerEnabled; //默認(rèn):50%。當(dāng)出錯(cuò)率超過(guò)50%后熔斷器啟動(dòng) private final HystrixProperty circuitBreakerErrorThresholdPercentage; //是否強(qiáng)制開(kāi)啟熔斷器阻斷所有請(qǐng)求,默認(rèn):false,不開(kāi)啟。置為true時(shí),所有請(qǐng)求都將被拒絕,直接到fallback private final HystrixProperty circuitBreakerForceOpen; //是否允許熔斷器忽略錯(cuò)誤,默認(rèn)false, 不開(kāi)啟 private final HystrixProperty circuitBreakerForceClosed; /* --------------信號(hào)量相關(guān)------------------*/ //使用信號(hào)量隔離時(shí),命令調(diào)用最大的并發(fā)數(shù),默認(rèn):10 private final HystrixProperty executionIsolationSemaphoreMaxConcurrentRequests; //使用信號(hào)量隔離時(shí),命令fallback(降級(jí))調(diào)用最大的并發(fā)數(shù),默認(rèn):10 private final HystrixProperty fallbackIsolationSemaphoreMaxConcurrentRequests; /* --------------其他------------------*/ //使用命令調(diào)用隔離方式,默認(rèn):采用線程隔離,ExecutionIsolationStrategy.THREAD private final HystrixProperty executionIsolationStrategy; //使用線程隔離時(shí),調(diào)用超時(shí)時(shí)間,默認(rèn):1秒 private final HystrixProperty executionIsolationThreadTimeoutInMilliseconds; //線程池的key,用于決定命令在哪個(gè)線程池執(zhí)行 private final HystrixProperty executionIsolationThreadPoolKeyOverride; //是否開(kāi)啟fallback降級(jí)策略 默認(rèn):true private final HystrixProperty fallbackEnabled; // 使用線程隔離時(shí),是否對(duì)命令執(zhí)行超時(shí)的線程調(diào)用中斷(Thread.interrupt())操作.默認(rèn):true private final HystrixProperty executionIsolationThreadInterruptOnTimeout; // 是否開(kāi)啟請(qǐng)求日志,默認(rèn):true private final HystrixProperty requestLogEnabled; //是否開(kāi)啟請(qǐng)求緩存,默認(rèn):true private final HystrixProperty requestCacheEnabled; // Whether request caching is enabled //請(qǐng)求合并是允許的最大請(qǐng)求數(shù),默認(rèn): Integer.MAX_VALUE private final HystrixProperty maxRequestsInBatch; //批處理過(guò)程中每個(gè)命令延遲的時(shí)間,默認(rèn):10毫秒 private final HystrixProperty timerDelayInMilliseconds; //批處理過(guò)程中是否開(kāi)啟請(qǐng)求緩存,默認(rèn):開(kāi)啟 private final HystrixProperty requestCacheEnabled; /* 配置線程池大小,默認(rèn)值10個(gè) */ private final HystrixProperty corePoolSize; /* 配置線程值等待隊(duì)列長(zhǎng)度,默認(rèn)值:-1 建議值:-1表示不等待直接拒絕,測(cè)試表明線程池使用直接決絕策略+ 合適大小的非回縮線程池效率最高.所以不建議修改此值。 當(dāng)使用非回縮線程池時(shí),queueSizeRejectionThreshold,keepAliveTimeMinutes 參數(shù)無(wú)效 */ private final HystrixProperty maxQueueSize;
其他常用限流降級(jí)組件
Sentinel:阿里巴巴集團(tuán)內(nèi)部基礎(chǔ)技術(shù)模塊,覆蓋了所有的核心場(chǎng)景。Sentinel 也因此積累了大量的流量歸整場(chǎng)景以及生產(chǎn)實(shí)踐。2018 年,Sentinel 開(kāi)源,并持續(xù)演進(jìn)。
Resilience4j:也是一個(gè)輕量級(jí)的容錯(cuò)組件,其靈感來(lái)自于 Hystrix,但主要為 Java 8 和函數(shù)式編程所設(shè)計(jì)。輕量級(jí)體現(xiàn)在其只用 Vavr庫(kù)(前身是 Javaslang),沒(méi)有任何外部依賴。而 Hystrix 依賴了 Archaius ,Archaius 本身又依賴很多第三方包,例如 Guava、Apache Commons Configuration 等。
Sentinel 與 Hystrix resilience4j 對(duì)比
| Sentinel | Hystrix | resilience4j | |
|---|---|---|---|
| 隔離策略 | 信號(hào)量隔離(并發(fā)線程數(shù)限流) | 線程池隔離/信號(hào)量隔離 | 信號(hào)量隔離 |
| 熔斷降級(jí)策略 | 基于響應(yīng)時(shí)間、異常比率、異常數(shù)等 | 異常比率模式、超時(shí)熔斷 | 基于異常比率、響應(yīng)時(shí)間 |
| 實(shí)時(shí)統(tǒng)計(jì)實(shí)現(xiàn) | 滑動(dòng)窗口(LeapArray) | 滑動(dòng)窗口(基于 RxJava) | Ring Bit Buffer |
| 動(dòng)態(tài)規(guī)則配置 | 支持多種配置源 | 支持多種數(shù)據(jù)源 | 有限支持 |
| 擴(kuò)展性 | 豐富的 SPI 擴(kuò)展接口 | 插件的形式 | 接口的形式 |
| 基于注解的支持 | 支持 | 支持 | 支持 |
| 限流 | 基于 QPS,支持基于調(diào)用關(guān)系的限流 | 有限的支持 | Rate Limiter |
| 集群流量控制 | 支持 | 不支持 | 不支持 |
| 流量整形 | 支持預(yù)熱模式、勻速排隊(duì)模式等多種復(fù)雜場(chǎng)景 | 不支持 | 簡(jiǎn)單的 Rate Limiter 模式 |
| 系統(tǒng)自適應(yīng)保護(hù) | 支持 | 不支持 | 不支持 |
| 控制臺(tái) | 提供開(kāi)箱即用的控制臺(tái),可配置規(guī)則、查看秒級(jí)監(jiān)控、機(jī)器發(fā)現(xiàn)等 | 簡(jiǎn)單的監(jiān)控查看 | 不提供控制臺(tái),可對(duì)接其它監(jiān)控系統(tǒng) |
| 多語(yǔ)言支持 | Java / C++ | Java | Java |
| 開(kāi)源社區(qū)狀態(tài) | 活躍 | 停止維護(hù) | 較活躍 |
至于如何選擇,個(gè)人覺(jué)得,只要滿足需求掌握使用理念,選技術(shù)文檔最多最全的一種即可,你最熟悉的就是最適合你的。
總結(jié)
Hystrix 框架提供了高可用相關(guān)的各種各樣的功能,有了 Hystrix 的保護(hù),整個(gè)系統(tǒng)可以長(zhǎng)期處于高可用的狀態(tài)。
這一小節(jié)的內(nèi)容不僅僅是學(xué)會(huì) Hystrix 這門工具的使用,更重要的是理解降級(jí)的設(shè)計(jì)理念,即便 Hystrix 官方已經(jīng)停止維護(hù)更新,但不可否定 Hystrix 是一個(gè)優(yōu)秀的生產(chǎn)力工具。
以上就是java分布式面試降級(jí)組件Hystrix的功能特性的詳細(xì)內(nèi)容,更多關(guān)于java分布式面試降級(jí)組件Hystrix的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
JAVA編程實(shí)現(xiàn)UDP網(wǎng)絡(luò)通訊的方法示例
這篇文章主要介紹了JAVA編程實(shí)現(xiàn)UDP網(wǎng)絡(luò)通訊的方法,簡(jiǎn)單說(shuō)明了UDP通訊的原理并結(jié)合實(shí)例形式分析了java實(shí)現(xiàn)UDP通訊的相關(guān)類與使用技巧,需要的朋友可以參考下2017-08-08
Java并發(fā)包工具類CountDownLatch的應(yīng)用詳解
CountDownLatch是Java并發(fā)包中非常實(shí)用的一個(gè)工具類,它可以幫助我們實(shí)現(xiàn)線程之間的同步和協(xié)作。本文主要介紹了CountDownLatch的應(yīng)用場(chǎng)景及最佳實(shí)踐,希望對(duì)大家有所幫助2023-04-04
Java?Hibernate中一對(duì)多和多對(duì)多關(guān)系的映射方式
Hibernate是一種Java對(duì)象關(guān)系映射框架,支持一對(duì)多和多對(duì)多關(guān)系的映射。一對(duì)多關(guān)系可以使用集合屬性和單向/雙向關(guān)聯(lián)來(lái)映射,多對(duì)多關(guān)系可以使用集合屬性和中間表來(lái)映射。在映射過(guò)程中,需要注意級(jí)聯(lián)操作、延遲加載、中間表的處理等問(wèn)題2023-04-04
Spring?data?jpa緩存機(jī)制使用總結(jié)
這篇文章主要介紹了Spring?data?jpa緩存機(jī)制使用總結(jié),具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-12-12

