快捷導(dǎo)航

Redis如何從海量key中查詢出某一固定前綴的key

更新時(shí)間：2025年07月16日 08:52:20 作者：一縷純氧

當(dāng)Redis存儲(chǔ)一億key時(shí),使用keys指令可能因返回全部key導(dǎo)致服務(wù)器卡頓,而scan指令通過游標(biāo)分批獲取,避免阻塞,適合生產(chǎn)環(huán)境,需注意重復(fù)結(jié)果可用hashSet去重,count參數(shù)可調(diào)整返回?cái)?shù)量但非強(qiáng)制

常問問題

假如redis里有一億個(gè)key，其中有10萬個(gè)key是以某個(gè)固定的已知的前綴開頭的，如何將他們?nèi)空页鰜恚?/p>

留意細(xì)節(jié)

摸清數(shù)據(jù)規(guī)模（數(shù)據(jù)量是多大？根據(jù)實(shí)際場景去作答），問清楚邊界。

給出答案

1.用keys指令找出指定模式的key列表

缺點(diǎn)：一次性需要返回所有的key，如果可以的數(shù)量過大，會(huì)使服務(wù)器卡頓，對(duì)于內(nèi)存的消耗和redis服務(wù)器都是隱患。

2.用scan指令

無阻塞地提取出指定前綴的key列表，scan每次執(zhí)行都只會(huì)返回少量元素，所以可以用于生產(chǎn)環(huán)境，不會(huì)出現(xiàn)像keys命令帶來的可能會(huì)阻塞服務(wù)器問題。

SCAN cursor [MATCH pattern] [COUNT count]

1.scan指令是一個(gè)基于游標(biāo)的迭代器

命令每次被調(diào)用都需要上一次調(diào)用返回的游標(biāo)作為該次調(diào)用的游標(biāo)參數(shù)（cursor），以此來延續(xù)之前的迭代過程。

2.當(dāng)scan指令的游標(biāo)參數(shù)cursor設(shè)置為0時(shí)

服務(wù)器將開始一次新的迭代，而當(dāng)服務(wù)器向用戶返回值為0的游標(biāo)時(shí)，就表示迭代已經(jīng)結(jié)束。
以0作為游標(biāo)開始新一次的迭代，一直調(diào)用游標(biāo)指令直到游標(biāo)返回0，我們稱這個(gè)過程為一次完整的遍歷。

3.scan增量式迭代

并不保證每次執(zhí)行都會(huì)返回某個(gè)給定數(shù)量的元素，甚至可能會(huì)返回0個(gè)元素，但只要命令返回的游標(biāo)不是0，應(yīng)用程序就不應(yīng)該將程序視為結(jié)束。
命令返回的元素?cái)?shù)量總是符合一定規(guī)則的，對(duì)于一個(gè)大數(shù)據(jù)集來說，增量式迭代命令每次最多可能會(huì)返回?cái)?shù)十個(gè)元素，而對(duì)于一個(gè)足夠小的數(shù)據(jù)級(jí)來說，可能會(huì)一次迭代返回所有的key。
類似于keys指令，scan可以通過給定match參數(shù)的方式，傳入要查找鍵位的模糊匹配方式，讓命令只返回和給定的模式相匹配的元素。

4.對(duì)于增量式迭代命令

是沒有辦法保證每次迭代所返回的元素?cái)?shù)量的，可以使用count選項(xiàng)，對(duì)命令的行為進(jìn)行一定程度上的調(diào)整。
count選項(xiàng)的作用，就是讓用戶告知迭代命令，在每次迭代中應(yīng)該從數(shù)據(jù)集里返回多少元素。
使用count選項(xiàng)對(duì)于增量式迭代命令相當(dāng)于是一種提示，大多數(shù)情況下這種提示都是比較有效的控制了返回的數(shù)量的，但count選項(xiàng)并不能嚴(yán)格地控制返回的數(shù)量，只能是一個(gè)大致的約束，并非每次迭代都會(huì)返回count數(shù)量的元素，用戶可以在每次迭代根據(jù)自己的需要隨意改變count值，只要將上次迭代返回的游標(biāo)用在下次迭代即可。

127.0.0.1:6379> scan 0 match k1* count 10
1) "11009983"
2) 1) "k15183267"
   2) "k18983203"
   3) "k14348902"
127.0.0.1:6379> scan 11009983 match k1* count 10
1）"23902345"
2) 1) "k17203743"
   2) "k18324732"
   3) "k11028343"
   4) "k11143424"
   5) "k12304823"
127.0.0.1:6379> scan 23902345 match k1* count 10
1) "24080390"
2) 1) "k12438294"
   2) "k18392744"
   3) "k14320420"
   4) "k11043243"

使用SCAN指令獲取到的結(jié)果可能會(huì)重復(fù)，后端可以用hashSet收集結(jié)果，以達(dá)到去重的效果。