Redis 處理大 Key 的主要方法可以分為預(yù)防、識(shí)別、處理和優(yōu)化幾個(gè)方面。下面我將詳細(xì)說(shuō)明每一步。

1.什么是大key

沒(méi)有一個(gè)固定的數(shù)值可以定義所有場(chǎng)景下的大 Key。通常，我們可以將 String 類型超過(guò) 10 KB，集合類型元素超過(guò) 5000 作為大 Key 的參考閾值。但更重要的是，需要根據(jù)實(shí)際的業(yè)務(wù)場(chǎng)景、Redis 實(shí)例的配置和性能要求來(lái)定義適合自己的大 Key 閾值。

在不確定的情況下，建議進(jìn)行性能測(cè)試，觀察不同大小的 Key 對(duì) Redis 操作延遲的影響，從而確定適合自己業(yè)務(wù)的大 Key 閾值。

實(shí)際案例中的建議

• 阿里巴巴 Redis 開(kāi)發(fā)規(guī)范：建議字符串類型控制在 10 KB 以內(nèi)，集合元素?cái)?shù)量不要超過(guò) 5000。
• 騰訊云 Redis：建議字符串類型不超過(guò) 10 KB，集合元素?cái)?shù)量不超過(guò) 4000。

大 Key 處理流程圖

發(fā)現(xiàn)大 Key → 評(píng)估影響 → 選擇策略
    ↓
預(yù)防為主 → 無(wú)法避免 → 漸進(jìn)處理
    ↓
監(jiān)控告警 → 異步刪除 → 架構(gòu)優(yōu)化

預(yù)防大 Key

• 在設(shè)計(jì)階段，避免存儲(chǔ)過(guò)大的數(shù)據(jù)。例如，對(duì)于存儲(chǔ)集合類型的數(shù)據(jù)，可以拆分多個(gè)鍵來(lái)存儲(chǔ)。
• 使用合適的數(shù)據(jù)結(jié)構(gòu)。例如，使用 HyperLogLog 代替集合進(jìn)行基數(shù)統(tǒng)計(jì)，使用位圖（bitmap）存儲(chǔ)布爾值等。
• 對(duì)數(shù)據(jù)進(jìn)行壓縮后再存儲(chǔ)（但需要注意，壓縮和解壓會(huì)增加 CPU 開(kāi)銷，而且 Redis 本身不支持壓縮，需要客戶端處理）。

識(shí)別大 Key

• 使用 Redis 自帶的命令：例如 debug object key 可以查看某個(gè) key 的序列化長(zhǎng)度，但注意這個(gè)命令會(huì)影響性能，不建議在線使用。
• 使用 redis-cli --bigkeys 命令可以掃描整個(gè)數(shù)據(jù)庫(kù)，并統(tǒng)計(jì)出大 key。這個(gè)命令是通過(guò)掃描所有 key，然后統(tǒng)計(jì)它們的大小，注意這個(gè)過(guò)程會(huì)阻塞 Redis，最好在從節(jié)點(diǎn)上執(zhí)行或者低峰期執(zhí)行。
• 使用 SCAN 命令編寫(xiě)腳本，逐步掃描所有 key，然后使用 strlen、hlen、llen、scard、zcard 等命令獲取 key 的大小。這樣不會(huì)阻塞 Redis，但需要自己編寫(xiě)腳本。

處理大 Key

• 拆分大 Key：將一個(gè)大 key 拆分成多個(gè)小 key。例如，一個(gè)存儲(chǔ)了百萬(wàn)個(gè)元素的哈希表，可以拆分成多個(gè)哈希表，每個(gè)哈希表存儲(chǔ)一部分?jǐn)?shù)據(jù)。然后通過(guò)分片的方式（例如使用固定的哈希策略）來(lái)訪問(wèn)。
  • 刪除大 Key：如果大 Key 不再需要，刪除它。但是直接刪除一個(gè)大的 key 可能會(huì)阻塞 Redis（因?yàn)?Redis 是單線程的）。所以建議使用漸進(jìn)式刪除：
  • 對(duì)于哈希、列表、集合、有序集合，可以使用對(duì)應(yīng)的命令進(jìn)行漸進(jìn)式刪除。例如，對(duì)于哈希，可以使用 hscan 每次獲取一部分字段，然后使用 hdel 刪除。
• 對(duì)于字符串，直接使用 del 命令，但如果是非常大的字符串，也會(huì)阻塞一段時(shí)間?？梢钥紤]使用 unlink 命令（Redis 4.0 以上），它會(huì)在后臺(tái)異步刪除。
• 對(duì)于集合類型，可以使用對(duì)應(yīng)的掃描命令（如 sscan、hscan、zscan）來(lái)逐步刪除。

優(yōu)化大 Key 的使用

• 對(duì)于讀取，可以考慮使用分片的方式，將請(qǐng)求分散到多個(gè) key 上，減少單個(gè) key 的壓力。
• 對(duì)于寫(xiě)入，同樣使用分片，避免對(duì)單個(gè) key 頻繁寫(xiě)入導(dǎo)致性能問(wèn)題。
• 考慮使用 Redis 集群，將數(shù)據(jù)分布到多個(gè)節(jié)點(diǎn)上，這樣每個(gè)節(jié)點(diǎn)上的 key 就不會(huì)太大。

使用 Redis 4.0 的新特性

• Redis 4.0 引入了異步刪除（unlink 命令），可以用于刪除大 key 而不阻塞主線程。
• Redis 6.0 引入了多線程，可以在刪除大 key 時(shí)使用后臺(tái)線程處理，減少阻塞。

監(jiān)控和告警

• 定期監(jiān)控 Redis 的內(nèi)存使用情況，以及大 key 的情況?？梢允褂?nbsp;INFO memory 命令查看內(nèi)存使用情況。
• 設(shè)置告警，當(dāng)發(fā)現(xiàn)大 key 時(shí)及時(shí)處理。

下面是一個(gè)使用 SCAN 和 hscan 刪除大哈希表的示例腳本（假設(shè)我們要?jiǎng)h除一個(gè)名為 big_hash 的 key，它包含大量字段）：每次掃描100個(gè)字段，然后刪除它們(漸進(jìn)式刪除)

# 使用 hscan 每次掃描 100 個(gè)字段，然后刪除它們
cursor=0
while true; do
    # 使用 hscan 命令，每次獲取 100 個(gè)字段
    redis-cli hscan big_hash $cursor count 100 > /tmp/hscan_output.txt
    # 讀取輸出，第一行是下一個(gè)游標(biāo)，第二行是字段列表
    cursor=$(head -1 /tmp/hscan_output.txt)
    fields=$(tail -1 /tmp/hscan_output.txt)
    # 將字段轉(zhuǎn)換為數(shù)組，然后逐個(gè)刪除
    # 注意：這里假設(shè)字段之間用空格分隔，但實(shí)際上 hscan 輸出的字段是每行一個(gè)，所以需要根據(jù)實(shí)際情況調(diào)整
    # 以下是一個(gè)簡(jiǎn)單的處理方式，但可能不適用于所有情況
    for field in $fields; do
        redis-cli hdel big_hash $field
    done
    # 如果游標(biāo)為0，表示掃描結(jié)束
    if [ $cursor -eq 0 ]; then
        break
    fi
done

注意：上面的腳本是一個(gè)簡(jiǎn)單的示例，實(shí)際使用時(shí)需要根據(jù)實(shí)際情況調(diào)整，比如處理 hscan 輸出的格式，以及考慮網(wǎng)絡(luò)連接和錯(cuò)誤處理。

另外，也可以使用編程語(yǔ)言（如 Python、Java）來(lái)編寫(xiě)更復(fù)雜的腳本，利用相應(yīng) Redis 客戶端的 SCAN 功能。

總結(jié)：處理大 Key 的核心思想是預(yù)防為主，及時(shí)發(fā)現(xiàn)并處理。在處理時(shí)，盡量避免阻塞 Redis 主線程，采用漸進(jìn)式刪除或異步刪除。同時(shí)，通過(guò)拆分、分片等方式優(yōu)化數(shù)據(jù)結(jié)構(gòu)和訪問(wèn)模式。

Redis 處理大 Key 主要有以下幾種方式：

1.預(yù)防措施（設(shè)計(jì)階段）

數(shù)據(jù)結(jié)構(gòu)優(yōu)化

• 拆分大 Key：將一個(gè)大的哈希/集合/列表拆分成多個(gè)小的 Key

# 原始大 Key
hset user:1_data field1 value1 ... field10000 value10000

# 拆分成多個(gè) Key
hset user:1:part1 field1 value1 ... field1000 value1000
hset user:1:part2 field1001 value1001 ... field2000 value2000
————————————————
版權(quán)聲明：本文為CSDN博主「困知勉行1985」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/wdquan19851029/article/details/156572934

使用合適的數(shù)據(jù)結(jié)構(gòu)

• HyperLogLog 替代大集合進(jìn)行基數(shù)統(tǒng)計(jì)
• Bitmaps 替代布爾值數(shù)組
• 考慮使用其他存儲(chǔ)（如關(guān)系數(shù)據(jù)庫(kù)）存儲(chǔ)大對(duì)象

2.識(shí)別大 Key

使用工具檢測(cè)

# Redis 自帶命令
redis-cli --bigkeys

# 掃描模式
redis-cli --bigkeys -i 0.1  # 每100毫秒掃描一次，減少對(duì)業(yè)務(wù)影響

# RDB 分析工具
redis-rdb-tools  # 分析 RDB 文件找出大 Key

使用 SCAN 命令

使用 SCAN 命令編寫(xiě)腳本，逐步掃描所有 key，然后使用 strlen、hlen、llen、scard、zcard 等命令獲取 key 的大小。這樣不會(huì)阻塞 Redis，但需要自己編寫(xiě)腳本。

# 編寫(xiě)腳本定期掃描
EVAL "
local cursor = 0
repeat
    local result = redis.call('SCAN', cursor, 'COUNT', 100)
    cursor = tonumber(result[1])
    local keys = result[2]
    
    for i, key in ipairs(keys) do
        local type = redis.call('TYPE', key)
        local size = 0
        
        if type == 'string' then
            size = redis.call('STRLEN', key)
        elseif type == 'hash' then
            size = redis.call('HLEN', key)
        elseif type == 'list' then
            size = redis.call('LLEN', key)
        elseif type == 'set' then
            size = redis.call('SCARD', key)
        elseif type == 'zset' then
            size = redis.call('ZCARD', key)
        end
        
        if size > 10000 then  -- 設(shè)置閾值
            print(key, type, size)
        end
    end
until cursor == 0
" 0

3.處理現(xiàn)有大 Key

漸進(jìn)式刪除

# 對(duì)于大 Hash - 使用 hscan + hdel
cursor=0
while true; do
    result=$(redis-cli HSCAN big_hash $cursor COUNT 100)
    cursor=$(echo "$result" | head -1)
    fields=$(echo "$result" | tail -n +2 | awk '{print $1}')
    
    for field in $fields; do
        redis-cli HDEL big_hash $field
    done
    
    if [[ $cursor -eq "0" ]]; then
        break
    fi
done

# 對(duì)于大 Set - 使用 sscan + srem
# 對(duì)于大 ZSet - 使用 zscan + zrem
# 對(duì)于大 List - 分批次 ltrim
redis-cli LTRIM big_list 0 99  # 保留前100個(gè)元素

異步刪除（Redis 4.0+）

# 使用 UNLINK 替代 DEL（異步刪除）
redis-cli UNLINK big_key

# 配置異步刪除參數(shù)（redis.conf）
lazyfree-lazy-eviction yes
lazyfree-lazy-expire yes
lazyfree-lazy-server-del yes
replica-lazy-flush yes

4.配置優(yōu)化

# 監(jiān)控告警
# 設(shè)置內(nèi)存使用閾值
maxmemory 4gb
maxmemory-policy allkeys-lru

# 客戶端緩沖區(qū)限制
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60

5.架構(gòu)層面優(yōu)化

使用集群模式

# 將數(shù)據(jù)分散到不同節(jié)點(diǎn)
# 大 Key 會(huì)自動(dòng)分布到不同實(shí)例
redis-cli --cluster create node1:6379 node2:6379 ...

6.總結(jié)建議

• 設(shè)計(jì)階段避免大 Key：合理拆分?jǐn)?shù)據(jù)
• 定期掃描檢測(cè)：建立監(jiān)控體系
• 使用漸進(jìn)式操作：避免阻塞 Redis
• 升級(jí)到 Redis 4.0+：利用異步刪除特性
• 考慮數(shù)據(jù)遷移：將大對(duì)象存儲(chǔ)到其他存儲(chǔ)系統(tǒng)
• 容量規(guī)劃：提前預(yù)估數(shù)據(jù)增長(zhǎng)

記?。?strong>預(yù)防勝于治療，良好的數(shù)據(jù)模型設(shè)計(jì)是避免大 Key 問(wèn)題的根本。

到此這篇關(guān)于Redis中大key處理的問(wèn)題解決的文章就介紹到這了,更多相關(guān)Redis 大key內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論