最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Redis定時(shí)監(jiān)控與數(shù)據(jù)處理的實(shí)踐指南

 更新時(shí)間:2025年06月10日 10:06:51   作者:碼農(nóng)阿豪@新空間  
在現(xiàn)代分布式系統(tǒng)中,Redis作為高性能的內(nèi)存數(shù)據(jù)庫,常用于緩存、消息隊(duì)列和實(shí)時(shí)數(shù)據(jù)處理,合理使用Redis數(shù)據(jù)結(jié)構(gòu),可以極大提升系統(tǒng)性能,本文將通過一個(gè)實(shí)際案例,介紹如何將Redis存儲(chǔ)結(jié)構(gòu)從 Set 遷移到Hash,并實(shí)現(xiàn)定時(shí)任務(wù)監(jiān)控?cái)?shù)據(jù)變化,需要的朋友可以參考下

1. 背景與需求分析

1.1 原始需求

我們有一個(gè) LogMediaAdIdCache 類,用于緩存廣告位 ID,并定期從 Redis 刷新數(shù)據(jù)。原始實(shí)現(xiàn)使用 Set 存儲(chǔ)數(shù)據(jù),結(jié)構(gòu)如下:

SET logscraping:mediaAdId [id1, id2, id3, ...]

但隨著業(yè)務(wù)發(fā)展,我們需要存儲(chǔ)更多元信息(如廣告位名稱、狀態(tài)、更新時(shí)間等),僅用 Set 已無法滿足需求。

1.2 新需求

  • 存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù):每個(gè)廣告位 ID 需要關(guān)聯(lián)額外信息(如 namestatusupdateTime)。
  • 高效查詢:快速獲取某個(gè)廣告位的詳細(xì)信息。
  • 定時(shí)監(jiān)控:每10秒檢查 Redis 數(shù)據(jù)變化,確保緩存一致性。

因此,我們決定將數(shù)據(jù)結(jié)構(gòu)從 Set 改為 Hash:

HASH logscraping:mediaAdId
    id1 -> { "name": "廣告位1", "status": "active" }
    id2 -> { "name": "廣告位2", "status": "inactive" }

2. Redis 數(shù)據(jù)結(jié)構(gòu)選型:Set vs. Hash

特性SetHash
存儲(chǔ)方式無序唯一集合鍵值對(duì)存儲(chǔ)(field-value)
適用場景去重、集合運(yùn)算(交集、并集)結(jié)構(gòu)化數(shù)據(jù),需存儲(chǔ)額外屬性
查詢效率O(1) 判斷元素是否存在O(1) 按 field 查詢 value
擴(kuò)展性只能存儲(chǔ)單一值可存儲(chǔ)復(fù)雜對(duì)象(JSON、Map)

結(jié)論:

  • 如果僅需存儲(chǔ) ID 并判斷是否存在,Set 更高效。
  • 如果需要存儲(chǔ)額外信息(如廣告位詳情),Hash 更合適。

3. 代碼改造:從 Set 遷移到 Hash

3.1 改造后的 LogMediaAdIdCache

@Component
@Slf4j
@RequiredArgsConstructor
public class LogMediaAdIdCache {
    private final RedisTemplate<String, String> redisTemplate;
    private volatile Set<Long> cachedLogMediaAdIds = Collections.emptySet();
    public static final String LOG_REDIS_KEY = "logscraping:mediaAdId";

    @PostConstruct
    public void init() {
        refreshCache();
    }

    @Scheduled(fixedRate = 5 * 1000) // 每5秒刷新一次
    public void refreshCache() {
        try {
            Map<Object, Object> idMap = redisTemplate.opsForHash().entries(LOG_REDIS_KEY);
            if (idMap != null) {
                Set<Long> newCache = idMap.keySet().stream()
                        .map(key -> Long.valueOf(key.toString()))
                        .collect(Collectors.toSet());
                this.cachedLogMediaAdIds = newCache;
                log.info("廣告位ID緩存刷新成功,數(shù)量: {}", newCache.size());
            }
        } catch (Exception e) {
            log.error("刷新廣告位ID緩存失敗", e);
        }
    }

    public Set<Long> getLogMediaAdIds() {
        return Collections.unmodifiableSet(cachedLogMediaAdIds);
    }

    public boolean contains(Long mediaAdId) {
        return cachedLogMediaAdIds.contains(mediaAdId);
    }

    // 新增方法:獲取廣告位詳情
    public String getAdInfo(Long mediaAdId) {
        return redisTemplate.<String, String>opsForHash().get(LOG_REDIS_KEY, mediaAdId.toString());
    }

    // 新增方法:更新廣告位信息
    public void updateAdInfo(Long mediaAdId, String info) {
        redisTemplate.opsForHash().put(LOG_REDIS_KEY, mediaAdId.toString(), info);
        refreshCache(); // 立即刷新緩存
    }
}

3.2 主要改進(jìn)點(diǎn)

  • 改用 opsForHash() 操作 Redis Hash,支持結(jié)構(gòu)化存儲(chǔ)。
  • 新增 getAdInfo() 方法,按廣告位 ID 查詢?cè)斍椤?/li>
  • 新增 updateAdInfo() 方法,支持動(dòng)態(tài)更新數(shù)據(jù)。

4. 定時(shí)任務(wù)優(yōu)化:每10秒監(jiān)控 Redis 數(shù)據(jù)

4.1 新增 LogStatsMonitorJob

@Component
@Slf4j
@RequiredArgsConstructor
public class LogStatsMonitorJob {
    private final RedisTemplate<String, String> redisTemplate;
    private static final String LOG_STATS_KEY = "log:stats:1635474646";

    @Scheduled(fixedRate = 10 * 1000) // 每10秒執(zhí)行一次
    public void monitorLogStats() {
        String currentTimeKey = getFormattedTime();
        String fullKey = LOG_STATS_KEY + ":" + currentTimeKey;

        try {
            Map<Object, Object> stats = redisTemplate.opsForHash().entries(fullKey);
            if (stats == null || stats.isEmpty()) {
                log.warn("未找到統(tǒng)計(jì)信息: {}", fullKey);
                return;
            }

            log.info("----- 統(tǒng)計(jì)信息監(jiān)控(Key: {})-----", fullKey);
            stats.forEach((field, value) -> 
                log.info("{}: {}", field, value));

            // 業(yè)務(wù)處理示例
            int total = Integer.parseInt(stats.getOrDefault("total", "0").toString());
            if (total > 1000) {
                log.warn("警告:數(shù)據(jù)量過大({}條)", total);
            }
        } catch (Exception e) {
            log.error("監(jiān)控統(tǒng)計(jì)信息失敗", e);
        }
    }

    private String getFormattedTime() {
        // 生成格式化的時(shí)間戳,如 20250609175050
        return LocalDateTime.now()
                .format(DateTimeFormatter.ofPattern("yyyyMMddHHmmss"));
    }
}

4.2 功能說明

  • 定時(shí)任務(wù):每10秒檢查 Redis Hash 數(shù)據(jù)。
  • 動(dòng)態(tài) Key:支持按時(shí)間戳生成 Key(如 log:stats:1635474646:20250609175050)。
  • 異常處理:捕獲 Redis 操作異常,避免任務(wù)中斷。
  • 業(yè)務(wù)告警:數(shù)據(jù)量超過閾值時(shí)觸發(fā)告警。

5. 完整代碼實(shí)現(xiàn)

5.1 LogMediaAdIdCache(改造后)

(見上文 3.1 節(jié))

5.2 LogStatsMonitorJob(新增)

(見上文 4.1 節(jié))

5.3 配置類(可選)

@Configuration
@EnableScheduling
public class SchedulingConfig {
    // 啟用定時(shí)任務(wù)
}

6. 總結(jié)與最佳實(shí)踐

6.1 關(guān)鍵改進(jìn)

  • 數(shù)據(jù)結(jié)構(gòu)升級(jí):從 Set → Hash,支持結(jié)構(gòu)化存儲(chǔ)。
  • 定時(shí)任務(wù)優(yōu)化:每10秒監(jiān)控?cái)?shù)據(jù),確保實(shí)時(shí)性。
  • 代碼健壯性:異常處理 + 日志記錄。

6.2 最佳實(shí)踐

  • 合理選擇數(shù)據(jù)結(jié)構(gòu):根據(jù)業(yè)務(wù)場景選擇 Set / Hash / ZSet 等。
  • 動(dòng)態(tài) Key 設(shè)計(jì):如時(shí)間戳、業(yè)務(wù)ID等,方便數(shù)據(jù)分區(qū)。
  • 定時(shí)任務(wù)調(diào)優(yōu):
    • 短周期(如10s)適合實(shí)時(shí)監(jiān)控。
    • 長周期(如1h)適合批量處理。
  • 異常處理:避免因 Redis 異常導(dǎo)致任務(wù)崩潰。

6.3 后續(xù)優(yōu)化方向

  • 數(shù)據(jù)分片:若數(shù)據(jù)量過大,可采用分片存儲(chǔ)。
  • 分布式鎖:避免多實(shí)例任務(wù)重復(fù)執(zhí)行。
  • 數(shù)據(jù)過期策略:設(shè)置 TTL 自動(dòng)清理舊數(shù)據(jù)。

結(jié)語

本文通過一個(gè)實(shí)際案例,演示了如何將 Redis 數(shù)據(jù)結(jié)構(gòu)從 Set 遷移到 Hash,并實(shí)現(xiàn)高效定時(shí)監(jiān)控。合理的數(shù)據(jù)結(jié)構(gòu)選擇 + 定時(shí)任務(wù)優(yōu)化,可以顯著提升系統(tǒng)性能和可維護(hù)性。

以上就是Redis定時(shí)監(jiān)控與數(shù)據(jù)處理實(shí)踐指南的詳細(xì)內(nèi)容,更多關(guān)于Redis定時(shí)監(jiān)控與數(shù)據(jù)處理的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Redis中scan命令的深入講解

    Redis中scan命令的深入講解

    這篇文章主要給大家介紹了關(guān)于Redis中scan命令的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用redis具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2018-10-10
  • redis如何設(shè)置key的有效期

    redis如何設(shè)置key的有效期

    這篇文章主要介紹了redis如何設(shè)置key的有效期方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-01-01
  • redis cluster支持pipeline的實(shí)現(xiàn)思路

    redis cluster支持pipeline的實(shí)現(xiàn)思路

    本文給大家介紹redis cluster支持pipeline的實(shí)現(xiàn)思路,在 cluster 上執(zhí)行 pipeline 可能會(huì)由于 redis 節(jié)點(diǎn)擴(kuò)縮容 中途 redirection 切換連接導(dǎo)致結(jié)果丟失,具體細(xì)節(jié)問題請(qǐng)參考下本文
    2021-06-06
  • redis實(shí)現(xiàn)簡單隊(duì)列

    redis實(shí)現(xiàn)簡單隊(duì)列

    這篇文章主要為大家詳細(xì)介紹了redis實(shí)現(xiàn)簡單隊(duì)列的相關(guān)資料,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2016-10-10
  • redis反序列化報(bào)錯(cuò)原因分析以及解決方案

    redis反序列化報(bào)錯(cuò)原因分析以及解決方案

    這篇文章主要介紹了redis反序列化報(bào)錯(cuò)原因分析以及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-03-03
  • 從源碼解讀redis持久化

    從源碼解讀redis持久化

    redis的持久化也就是數(shù)據(jù)落地,對(duì)于任何一個(gè)數(shù)據(jù)系統(tǒng)都要考慮是不是需要數(shù)據(jù)落地。在系統(tǒng)崩潰或是機(jī)房掉電等的情況下,將有用的數(shù)據(jù)記錄在非易失性存儲(chǔ)器上面,防止數(shù)據(jù)丟失,以及用來系統(tǒng)重啟時(shí)的數(shù)據(jù)恢復(fù)。
    2018-08-08
  • 淺談Redis中的自動(dòng)過期機(jī)制

    淺談Redis中的自動(dòng)過期機(jī)制

    本文主要介紹了淺談Redis中的自動(dòng)過期機(jī)制,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-05-05
  • redis分布式鎖及會(huì)出現(xiàn)的問題解決

    redis分布式鎖及會(huì)出現(xiàn)的問題解決

    這篇文章主要給大家介紹了關(guān)于redis分布式鎖及會(huì)出現(xiàn)問題的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-09-09
  • 深入理解redis刪除策略和淘汰策略

    深入理解redis刪除策略和淘汰策略

    每隔一段時(shí)間就掃描一定數(shù)據(jù)的設(shè)置了過期時(shí)間的key,并清除其中已過期的keys,本文主要介紹了深入理解redis刪除策略和淘汰策略,感興趣的可以了解一下
    2024-08-08
  • Redis常用的數(shù)據(jù)結(jié)構(gòu)及實(shí)際應(yīng)用場景

    Redis常用的數(shù)據(jù)結(jié)構(gòu)及實(shí)際應(yīng)用場景

    本文介紹了Redis中常用的數(shù)據(jù)結(jié)構(gòu),包括字符串、列表、集合、哈希表、有序集合和Bitmap,并詳細(xì)說明了它們?cè)诟鞣N場景下的使用,需要的朋友可以參考下
    2024-05-05

最新評(píng)論

尚志市| 怀仁县| 克东县| 惠水县| 库伦旗| 车致| 理塘县| 仙游县| 搜索| 玉田县| 平度市| 东乡族自治县| 依兰县| 邹平县| 武胜县| 黄平县| 万山特区| 湄潭县| 峨眉山市| 衡水市| 合水县| 久治县| 彰化县| 丽水市| 文化| 工布江达县| 南澳县| 明溪县| 阿克| 留坝县| 莱芜市| 安新县| 江北区| 侯马市| 孝感市| 福清市| 海晏县| 靖宇县| 荣昌县| 青海省| 普洱|