快捷導(dǎo)航

Redis?BigKey的問題解決

更新時(shí)間：2023年05月17日 10:35:37 作者：tizzybepeacejoy

本文主要介紹了Redis?BigKey的問題解決，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

什么是BigKey?

BigKey指的是redis中一些key value值很大,這些key在序列化與反序列化過程中花費(fèi)的時(shí)間很大! 操作bigkey的通常比較耗時(shí)，也就意味著阻塞Redis可能性越大!占用的流量同時(shí)也會(huì)變得很大!

大白話就是bigkey實(shí)際指一個(gè)key對(duì)應(yīng)的value很大,占用的空間很大!

string長度大于10K，list長度大于10240認(rèn)為是big bigkeys

如何查看Redis中的bigKey?

我們以String為例:

先存儲(chǔ)幾個(gè)String key進(jìn)去,然后使用命令!
查看所有BigKey

redis-cli自帶的一個(gè)命令(不需要連接Redis)。對(duì)整個(gè)redis進(jìn)行掃描，尋找較大的key。

redis-cli -h 127.0.0.1 -p 6379 --bigkeys

Redis中有3個(gè)String , 可以看到發(fā)現(xiàn)一個(gè)BigKey key3
獲取key3的值看看

該命令使用scan方式對(duì)key進(jìn)行統(tǒng)計(jì)，所以使用時(shí)無需擔(dān)心對(duì)redis造成阻塞。
輸出大概分為兩部分，summary之上的部分，只是顯示了掃描的過程。

summary部分給出了每種數(shù)據(jù)結(jié)構(gòu)中最大的Key。
統(tǒng)計(jì)出的最大key只有string類型是以字節(jié)長度為衡量標(biāo)準(zhǔn)的。
list,set,zset等都是以元素個(gè)數(shù)作為衡量標(biāo)準(zhǔn)，不能說明其占的內(nèi)存就一定多。所以，如果你的Key主要以string類型存在，這種方法就比較適合。

我的hash中

key3值

這種是查看所有的key 是否是bigKey

查看單個(gè)Key

debug object

其中serializedlength表示key對(duì)應(yīng)的value序列化之后的字節(jié)數(shù)

注意:

debug object bigkey本身可能就會(huì)比較慢，它本身就會(huì)存在阻塞Redis的可能,可能會(huì)比較危險(xiǎn)、而且不太準(zhǔn)確（序列化后的長度);

memory usage

Redis 4.0開始提供memory usage命令可以計(jì)算每個(gè)鍵值的字節(jié)數(shù)

如何優(yōu)化

優(yōu)化big key的原則就是string減少字符串長度，list、hash、set、zset等減少成員數(shù);
string長度大于10K，list長度大于10240認(rèn)為是big bigkeys

1 拆分

如果對(duì)象是整存爭取
將對(duì)象拆分后才能多個(gè)小key-value,get不同的key或者批量獲取stringRedisTemplate.opsForValue() .multiGet(keyList)如果對(duì)象是部分更新獲取數(shù)據(jù)
可以分拆成幾個(gè)key-value,也可以存儲(chǔ)在hash中,部分更新部分存取!

如果是hash ,set,zset ,list 等元素
固定一個(gè)桶的數(shù)量，比如1000，每次存取的時(shí)候，先在本地計(jì)算field的hash值，模除1000，確定該field落在哪個(gè)key上。
newHashKey = hashKey + (hash(field) % 1000);
hset(newHashKey, field, value);
hget(newHashKey, field)

set, zset, list 也可以類似上述做法!