高可用架構(gòu)etcd選主故障主備秒級切換實現(xiàn)
什么是Etcd？
etcd是一個強大的一致性的分布式鍵值存儲，它提供了一種可靠的方式來存儲需要由分布式系統(tǒng)或機器群訪問的數(shù)據(jù)。它優(yōu)雅地處理網(wǎng)絡(luò)分區(qū)期間的領(lǐng)導(dǎo)者選舉，并且可以容忍機器故障，即使在領(lǐng)導(dǎo)者節(jié)點中也是如此。從簡單的Web應(yīng)用程序到Kubernetes，任何復(fù)雜的應(yīng)用程序都可以讀取數(shù)據(jù)并將數(shù)據(jù)寫入etcd。這是官方對Etcd的描述，基于這些特性，Etcd常用于分布式配置、分布式鎖、分布式服務(wù)協(xié)調(diào)者以及分布式注冊。從功能上來說和zookeeper是一類項目，但是相比而言etcd更現(xiàn)代，etcd使用go語言開發(fā)，編譯后生成了系統(tǒng)可執(zhí)行的二進(jìn)制產(chǎn)物，跨平臺性更好，更易維護。etcd直接提供http的接口，非常方便各大語言封裝自己的client sdk，在易用性方面也更好一點。下面也主要使用java的客戶端jetcd，解決主備服務(wù)的協(xié)調(diào)問題。
etcd官網(wǎng)：https://etcd.io
主備服務(wù)場景描述
很多時候為了服務(wù)的高可用，除了有個在工作的主服務(wù)外，還需要多啟用幾個備用服務(wù)，這樣，在主服務(wù)出現(xiàn)故障時，備用服務(wù)能夠馬上頂上。這個場景有個很明顯的特征就是同一時間只能有一個主服務(wù)。常見的如mysql主從切換等，同一時間只能有一個msyql負(fù)責(zé)寫數(shù)據(jù)。在我們這邊的場景是，有一個binlog解析服務(wù)，實時解析mysql 的binlog，將解析到的數(shù)據(jù)傳遞到kafka中，kafka消費端有一個Flink job去消費解析的數(shù)據(jù)。最終這些數(shù)據(jù)會下層到數(shù)據(jù)中臺中，提供給中臺系統(tǒng)做基礎(chǔ)的業(yè)務(wù)數(shù)據(jù)。很多在線的服務(wù)查詢的數(shù)據(jù)就是來源binlog解析的數(shù)據(jù)，所以binlog解析的服務(wù)不能存在單點故障，在架構(gòu)上只能是一主多備的模式，主服務(wù)故障時，備用服務(wù)實時頂上。同時binlog服務(wù)也不能同時多個解析。所以，這個場景使用etcd來做主備架構(gòu)再好不過了。
jetcd具體實現(xiàn)
首先引入jetcd依賴
<dependency>
<groupId>io.etcd</groupId>
<artifactId>jetcd-core</artifactId>
<version>0.3.0</version>
</dependency>初始化客戶端
Client client = Client.builder().endpoints(
"http://127.0.0.1:2379",
"http://127.0.0.1:3379",
"http://127.0.0.1:4379"
).build();關(guān)鍵api介紹
Lock lock = client.getLockClient();
Lease lease = client.getLeaseClient();- Lease提供授予，撤銷和保持租約的方法，其中有兩個關(guān)鍵方法grant(long ttl)和keepAlive()。grant用于授予租約，入?yún)樽饧s的時間，即如果創(chuàng)建帶租約的key值，ttl秒后即自動刪除，返回租約的id。keepAlive()方法用于保持租約有效，即如果租約即將到期時，keepAlive能夠自動續(xù)租ttl時間。
- Lock有兩個方法，lock(ByteSequence name, long leaseId)和unlock(ByteSequence lockKey)。來實現(xiàn)分布式鎖的功能，其中加鎖時，入?yún)easeid為續(xù)約對象的id，即定義了持有鎖的時間
通過這Lease和Lock的功能，很容易實現(xiàn)主備服務(wù)的切換。關(guān)鍵代碼如下：
ByteSequence lockKey = ByteSequence.from("/root/lock", StandardCharsets.UTF_8);
Lock lock = client.getLockClient();
Lease lease = client.getLeaseClient();
long leaseId = lease.grant(lockTTl).get().getID();
lease.keepAlive(leaseId, new StreamObserver<LeaseKeepAliveResponse>() {
@Override
public void onNext(LeaseKeepAliveResponse value) {
System.err.println("LeaseKeepAliveResponse value:" + value.getTTL());
}
@Override
public void onError(Throwable t) { t.printStackTrace(); }
@Override
public void onCompleted() { }
});
lock.lock(lockKey, leaseId).get().getKey();- 首先申請授予續(xù)約獲取到leaseId，其中l(wèi)ockttl為1，單位秒，etcd的租約是秒級的。在這里ttl的設(shè)置是有講究的，取決于當(dāng)主服務(wù)故障時，你想多快讓從服務(wù)感知并頂上。當(dāng)然，受限于etcd本身租約秒級限制，最快也只能是1秒。
- 然后調(diào)用keepAlive方法，使授予到的leaseid?；?，這樣，只要應(yīng)用還存活就會自動續(xù)約
- 接著調(diào)用lock方法，傳入leaseid。只有首次啟動的服務(wù)會獲取到鎖，而且在運行期間，會不斷的續(xù)約。當(dāng)從服務(wù)運行到此處時，會阻塞住。這樣就能保證多個服務(wù)同時運行，只有一個服務(wù)真正工作的目的。當(dāng)獲取到鎖的主服務(wù)出現(xiàn)問題時，原先的只有鎖的續(xù)約在1秒內(nèi)就會到期，從服務(wù)會馬上獲取到鎖執(zhí)行工作代碼
完整的測試用例
/**
* @author: kl @kailing.pub
* @date: 2019/7/22
*/
public class JEtcdTest {
private Client client;
private Lock lock;
private Lease lease;
//單位：秒
private long lockTTl = 1;
private ByteSequence lockKey = ByteSequence.from("/root/lock", StandardCharsets.UTF_8);
private ScheduledExecutorService scheduledThreadPool = Executors.newScheduledThreadPool(2);
@Before
public void setUp() {
client = Client.builder().endpoints(
"http://127.0.0.1:2379",
"http://127.0.0.1:3379",
"http://127.0.0.1:4379"
).build();
lock = client.getLockClient();
lease = client.getLeaseClient();
}
@Test
public void lockTest1toMaster() throws InterruptedException, ExecutionException {
long leaseId = lease.grant(lockTTl).get().getID();
lease.keepAlive(leaseId, new StreamObserver<LeaseKeepAliveResponse>() {
@Override
public void onNext(LeaseKeepAliveResponse value) {
System.err.println("LeaseKeepAliveResponse value:"+ value.getTTL());
}
@Override
public void onError(Throwable t) {
scheduledThreadPool.shutdownNow();
t.printStackTrace();
}
@Override
public void onCompleted() {
scheduledThreadPool.shutdownNow();
}
});
lock.lock(lockKey, leaseId).get().getKey();
scheduledThreadPool.submit(() -> {
while (true) {
System.err.println("我是主服務(wù)開始工作了");
TimeUnit.SECONDS.sleep(1);
}
});
TimeUnit.DAYS.sleep(1);
}
@Test
public void lockTest2toStandby() throws InterruptedException, ExecutionException {
long leaseId = lease.grant(lockTTl).get().getID();
lease.keepAlive(leaseId, new StreamObserver<LeaseKeepAliveResponse>() {
@Override
public void onNext(LeaseKeepAliveResponse value) {
System.err.println("LeaseKeepAliveResponse value:"+ value.getTTL());
}
@Override
public void onError(Throwable t) {
scheduledThreadPool.shutdownNow();
t.printStackTrace();
}
@Override
public void onCompleted() {
scheduledThreadPool.shutdownNow();
}
});
lock.lock(lockKey, leaseId).get().getKey();
scheduledThreadPool.submit(() -> {
while (true) {
System.err.println("我是備用服務(wù)，我開始工作了，估計主服務(wù)已經(jīng)掛了");
TimeUnit.SECONDS.sleep(1);
}
});
TimeUnit.DAYS.sleep(1);
}
@Test
public void lockTest3toStandby() throws InterruptedException, ExecutionException {
long leaseId = lease.grant(lockTTl).get().getID();
lease.keepAlive(leaseId, new StreamObserver<LeaseKeepAliveResponse>() {
@Override
public void onNext(LeaseKeepAliveResponse value) {
System.err.println("LeaseKeepAliveResponse value:"+ value.getTTL());
}
@Override
public void onError(Throwable t) {
scheduledThreadPool.shutdownNow();
t.printStackTrace();
}
@Override
public void onCompleted() {
scheduledThreadPool.shutdownNow();
}
});
lock.lock(lockKey, leaseId).get().getKey();
scheduledThreadPool.submit(() -> {
while (true) {
System.err.println("我是備用服務(wù)，我開始工作了，估計主服務(wù)已經(jīng)掛了");
TimeUnit.SECONDS.sleep(1);
}
});
TimeUnit.DAYS.sleep(1);
}
}上面測試用例模擬了一主兩備的高可用架構(gòu)。分別執(zhí)行l(wèi)ockTest1toMaster()、lockTest2toStandby()、lockTest3toStandby()服務(wù)，會發(fā)現(xiàn)只有一個服務(wù)會打印。然后手動關(guān)閉這個服務(wù)，從服務(wù)馬上會接著打印。在關(guān)閉這個從服務(wù)，另外一個從服務(wù)就會接著打印。很好的模擬了主備故障切換的效果。
以上就是高可用架構(gòu)etcd選主故障主備秒級切換實現(xiàn)的詳細(xì)內(nèi)容，更多關(guān)于etcd主備故障秒級切換的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
使用Shiro實現(xiàn)登錄成功后跳轉(zhuǎn)到之前的頁面
這篇文章主要介紹了如何使用Shiro實現(xiàn)不同用戶登錄成功后跳轉(zhuǎn)到不同主頁，實現(xiàn)此功能目前比較好的方法是用ajax的方法登錄，第二種方法是把用戶未登錄前的url存在session中,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了java編程中實現(xiàn)調(diào)用js方法,結(jié)合具體實例形式較為詳細(xì)的分析了java編程中調(diào)用js方法的常用操作技巧與注意事項,需要的朋友可以參考下2017-09-09
這篇文章主要為大家介紹了Springboot系列之kafka操作使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-08-08
Java使用list集合remove需要注意的事項(使用示例)
List集合的一個特點是它其中的元素是有序的，也就是說元素的下標(biāo)是根據(jù)插入的順序來的，在刪除頭部或者中間的一個元素后，后面的元素下標(biāo)會往前移動，本文給大家介紹Java使用list集合remove需要注意的事項，感興趣的朋友一起看看吧2022-01-01
使用Jackson來實現(xiàn)Java對象與JSON的相互轉(zhuǎn)換的教程
這篇文章主要介紹了使用Jackson來實現(xiàn)Java對象與JSON的互相轉(zhuǎn)換的教程,文中羅列了3中Jackson的使用方式,需要的朋友可以參考下2016-01-01
這篇文章主要為大家詳細(xì)介紹了Java設(shè)計模式之工廠模式，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能給你帶來幫助2021-07-07
Java日常練習(xí)題,每天進(jìn)步一點點(26)
下面小編就為大家?guī)硪黄狫ava基礎(chǔ)的幾道練習(xí)題(分享)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧，希望可以幫到你2021-07-07
Spring Cloud gateway 網(wǎng)關(guān)如何攔截Post請求日志
這篇文章主要介紹了Spring Cloud gateway 網(wǎng)關(guān)如何攔截Post請求日志的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-07-07
JavaSwing GridLayout 網(wǎng)格布局的實現(xiàn)代碼
這篇文章主要介紹了JavaSwing GridLayout 網(wǎng)格布局的實現(xiàn)代碼,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
這篇文章主要為大家詳細(xì)介紹了Java實現(xiàn)簡易GUI貪吃蛇小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09