Kafka日志清理實現(xiàn)詳細(xì)過程講解
更新時間：2023年05月17日 09:22:30 作者：shysh
這篇文章主要為大家介紹了Kafka日志清理實現(xiàn)詳細(xì)過程講解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
Kafka日志清理目前主要有兩種策略：
- 日志刪除
- 日志壓縮：日志壓縮就是根據(jù)key來保留最后一條消息。
Kafka提供log.cleanup.policy參數(shù)進(jìn)行相應(yīng)配置，默認(rèn)值：delete，還可以選擇compact。
日志刪除
| 配置 | 默認(rèn)值 | 說明 |
|---|---|---|
| log.retention.check.interval.ms | 300000 (5分鐘) | 檢測頻率 |
| log.retention.hours | 168 (7天) | 日志保留時間小時 |
| log.retention.minutes | 日志保留時間分鐘 | |
| log.retention.ms | 日志保留時間毫秒 | |
| file.delete.delay.ms | 60000 (1分鐘) | 延遲執(zhí)行刪除時間 |
| log.retention.bytes | -1 無窮大 | 運行保留日志文件最大值 |
| log.retention.bytes | 1073741824 (1G) | 日志文件最大值 |
Kafka會根據(jù)檢測頻率周期性的檢測日志是否需要刪除，日志刪除策略主要有以下集中：
- 基于時間的刪除策略
- 基于文件大小的刪除策略
- 基于日志文件起始偏移量
基于時間刪除
Kafka會查找日志段的時間戳索引文件中的最后一條記錄，如果最后一條timestamp小于0，則取最近修改時間。
當(dāng)確認(rèn)完需要刪除的日志段以后，需要進(jìn)行以下刪除操作：
- 從日志對象中所維護(hù)日志分段的ConcurrentSkipListMap中移除待刪除的日志分段，保證沒有線程對這些日志分段進(jìn)行讀取操作。
- 為日志段中的所有文件加上.delete后綴
- Kafka中會有一個命名為"delete-file"的延遲任務(wù)來刪除這些無效的日志數(shù)據(jù)
假如當(dāng)前日志段中也有需要刪除的數(shù)據(jù)，那么kafka會先進(jìn)行分段，創(chuàng)建一個新的活躍日志段，然后執(zhí)行刪除操作。
基于大小刪除
- 計算需要刪除的日志大小的總和（當(dāng)前日志大小-所允許的日志文件最大值）
- 然后從第一個日志分段開始查找，查找可以進(jìn)行刪除的日志段集合
- 最后執(zhí)行刪除操作
基于日志文件起始偏移量
日志文件起始偏移量默認(rèn)等于第一個日志段的基準(zhǔn)偏移量，但隨著數(shù)據(jù)的刪除操作，該值也在不斷變化。
基于日志文件起始偏移量的判斷規(guī)則是，如果一個日志段的下一個日志段的起始偏移量如果小于日志文件起始偏移量，那么該日志段就可以被加入到刪除隊列，最后執(zhí)行刪除。
以上就是Kafka日志清理實現(xiàn)詳細(xì)過程講解的詳細(xì)內(nèi)容，更多關(guān)于Kafka日志清理的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
當(dāng)我們處理集合數(shù)據(jù)時,往往需要對其進(jìn)行各種操作,如過濾、映射、排序、歸約等,在 Java 8 中引入的 Stream 流為我們提供了一種更加簡潔和靈活的方式來處理數(shù)據(jù),本文將介紹如何基于 Stream 構(gòu)建流,為你展示創(chuàng)建和操作流的多種方法2023-08-08
本篇文章主要通過實例代碼介紹了JAVA讀取PDF、WORD文檔，需要的朋友可以參考下2017-04-04
舉例解析Java的設(shè)計模式編程中里氏替換原則的意義
這篇文章主要介紹了Java的設(shè)計模式中里氏替換原則的意義,文中舉例來說明里氏替換原則中強(qiáng)調(diào)的繼承特性方面可能帶來的問題,需要的朋友可以參考下2016-02-02
renameTo()方法是File類的一部分,renameTo()函數(shù)用于將文件的抽象路徑名重命名為給定的路徑名??,下面這篇文章主要給大家介紹了關(guān)于Java?file類中renameTo方法操作的相關(guān)資料,需要的朋友可以參考下2022-11-11
If-Else結(jié)構(gòu)是一種常見的條件判斷語句,通過優(yōu)化If-Else結(jié)構(gòu),可以提高代碼的可讀性和執(zhí)行效率,本文主要介紹了java優(yōu)化if-else的11種方案,感興趣的可以了解一下2024-08-08
Spring MVC之WebApplicationContext_動力節(jié)點Java學(xué)院整理
這篇文章主要介紹了Spring MVC之WebApplicationContext的相關(guān)資料,需要的朋友可以參考下2017-08-08
Mybatis的類型轉(zhuǎn)換接口TypeHandler
這篇文章主要介紹了Mybatis的類型轉(zhuǎn)換接口TypeHandler，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-08-08
SpringBoot整合RabbitMQ實現(xiàn)六種工作模式的示例
這篇文章主要介紹了SpringBoot整合RabbitMQ實現(xiàn)六種工作模式,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-07-07
基于Jenkins搭建.NET Core持續(xù)集成環(huán)境過程圖解
這篇文章主要介紹了基于Jenkins搭建.NET Core持續(xù)集成環(huán)境過程圖解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08
在JVM的運轉(zhuǎn)中，承載的是數(shù)據(jù)，而數(shù)據(jù)的一種變現(xiàn)形式就是“量”，量分為：常量與變量，我們在數(shù)學(xué)和物理學(xué)中已經(jīng)接觸過變量的概念了，在Java中的變量就是在程序運行過程中可以改變其值的量，這篇文章主要介紹了Java中的方法、常量、變量、參數(shù),需要的朋友可以參考下2024-01-01