flink進(jìn)階富函數(shù)生命周期介紹
end-to-end exactly-once
exactly-once只能保證Flink內(nèi)部狀態(tài)的一致性。而這個(gè)語義主要依賴Checkpoint機(jī)制。
在外部交互的一致性則無法保證，端到端的Exactly-Once問題是分布式系統(tǒng)領(lǐng)域最具挑戰(zhàn)性的問題之一，很多框架都在試圖攻克這個(gè)難題。
Flink的exactly-once主要依賴Source和Sink提供的一些功能。Source需要支持重發(fā)功能，Sink需要采用一定的數(shù)據(jù)寫入技術(shù)，比如冪等寫或事務(wù)寫。
對于Source重發(fā)功能，只要我們記錄了輸入的偏移量Offset，故障重啟后數(shù)據(jù)發(fā)送方從該Offset重新開始發(fā)送數(shù)據(jù)即可。Kafka的Producer除了發(fā)送數(shù)據(jù)，還會將數(shù)據(jù)持久化寫到日志文件中。如果下游應(yīng)用重啟，Producer根據(jù)下游提供的Offset，從持久化的文件中定位到數(shù)據(jù)，可以重新開始向下游發(fā)送數(shù)據(jù)。
Source的重發(fā)會導(dǎo)致一條數(shù)據(jù)被處理多次，為了保證只對下游系統(tǒng)產(chǎn)生一次影響，還需要依賴Sink的冪等寫或事務(wù)寫。
富函數(shù)
“富函數(shù)”是DataStream API提供的一個(gè)函數(shù)類的接口，所有Flink函數(shù)類都有其Rich版本。它與常規(guī)函數(shù)的不同在于，可以獲取運(yùn)行環(huán)境的上下文，并擁有一些生命周期方法，所以可以實(shí)現(xiàn)更復(fù)雜的功能。
富函數(shù)舉例
**RichMapFunction **
**RichFlatMapFunction **
**RichFilterFunction **
Rich Function有一個(gè)生命周期的概念。典型的生命周期方法有：
- open()方法是rich function的初始化方法，當(dāng)一個(gè)算子例如map或者filter被調(diào)用之前open()會被調(diào)用。
這里可以做一些初始化工作，例如建立一個(gè)和數(shù)據(jù)源的連接
- **close()方法是生命周期中的最后一個(gè)調(diào)用的方法，做一些清理工作。 **
這里做一些清理工作，例如斷開和數(shù)據(jù)源的連接。
- getRuntimeContext()方法提供了函數(shù)的RuntimeContext的一些信息，例如函數(shù)執(zhí)行的并行度，任務(wù)的名字，以及state狀態(tài)
其他的和FlatMapFunction算子的重寫方法類似。
以上就是flink進(jìn)階富函數(shù)生命周期介紹的詳細(xì)內(nèi)容，更多關(guān)于flink 富函數(shù)生命周期的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Mybatis把返回結(jié)果封裝成map類型的實(shí)現(xiàn)
本文主要介紹了Mybatis把返回結(jié)果封裝成map類型的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
這篇文章主要介紹了Spring中如何操作JDBC的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
Java?圖片處理庫提供了豐富的功能,用于處理和增強(qiáng)圖像,在Java生態(tài)系統(tǒng)中,有幾個(gè)流行的開源庫可以用于圖片處理,這些庫提供了豐富的功能,如圖像縮放、裁剪、顏色調(diào)整、格式轉(zhuǎn)換等,本文介紹開源的Java圖片處理庫介紹,感興趣的朋友一起看看吧2024-03-03
下面小編就為大家?guī)硪黄猨ava實(shí)現(xiàn)接口的典型案例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-09-09
這篇文章主要給大家介紹了關(guān)于Restful API中錯(cuò)誤處理方法的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
簡單了解redis常見客戶端及Sharding機(jī)制原理
這篇文章主要介紹了簡單了解redis常見客戶端及Sharding機(jī)制原理,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09
Jedis零基礎(chǔ)入門及操作Redis中的數(shù)據(jù)結(jié)構(gòu)詳解
Jedis 的 API 方法跟 Redis 的命令基本上完全一致，熟悉 Redis 的操作命令，自然就很容易使用 Jedis，因此官方也推薦 Java 使用 Jedis 來連接和操作 Redis2022-09-09
Springboot 讀取自定義pro文件注入static靜態(tài)變量方式
這篇文章主要介紹了Springboot 讀取自定義pro文件注入static靜態(tài)變量方式，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-07-07
VO(value object)通常用于業(yè)務(wù)層之間的數(shù)據(jù)傳遞，VO的屬性是根據(jù)當(dāng)前業(yè)務(wù)的不同而不同的，也就是說，它的每一個(gè)屬性都一一對應(yīng)當(dāng)前業(yè)務(wù)邏輯所需要的數(shù)據(jù)的名稱。本文將介紹如何將實(shí)體轉(zhuǎn)換為vo對象2021-05-05
Java Socket編程簡介_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要介紹了Java Socket編程簡介的相關(guān)知識，非常不錯(cuò)，具有參考借鑒價(jià)值,需要的朋友可以參考下2017-05-05