redis的bigkey掃描腳本深入介紹
更新時間：2018年07月01日 14:23:35 作者：mantu
這篇文章主要給大家介紹了關于redis的bigkey掃描腳本的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
前言
眾所周知，redis里面的大key存在是非常危險的一件事情。因為最近的工作轉(zhuǎn)移到中間件相關的工作，因此關注了一下bigkey的掃描方法。首先介紹一下阿里云提供的掃描腳本：
具體可見：https://yq.aliyun.com/articles/117042?t=t1
我對這個腳本進行了一個壓力測試，在redis的內(nèi)存為15G，key的數(shù)量為2KW，ops為40K到80K之間，在這種情況下，阿里云的腳本完全不能跑成功(估計跑出來的時間以天為單位)，主要原因是每確認一個key的情況，就需要與redis交互多次。因此，我對它的腳本進行了改造，加入了pipeline和debug object方法，腳本如下：
import sys
import redis
def find_big_key_normal(db_host, db_port, db_password, db_num):
client = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num)
i=0
temp = client.scan(cursor=i,count=1000)
j =0
while temp[0]>0 :
i=temp[0]
j=j+len(temp[1])
try:
r = client.pipeline(transaction=False)
for k in temp[1]:
r.debug_object(k)
tempA = r.execute()
x = 0
for key in tempA:
length = key.get("serializedlength")
##type = key.get("encoding")
if length > 10240 :
type = client.type(temp[1][x])
print temp[1][x], type,length
x=x+1
except :
print "a execption come"
temp = client.scan(cursor=i,count=1000)
if __name__ == '__main__':
if len(sys.argv) != 4:
print 'Usage: python ', sys.argv[0], ' host port password '
exit(1)
db_host = sys.argv[1]
db_port = sys.argv[2]
db_password = sys.argv[3]
r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password)
nodecount = 1
keyspace_info = r.info("keyspace")
for db in keyspace_info:
print 'check ', db, ' ', keyspace_info[db]
find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))
我對上面的腳本同樣進行了一個壓力測試，在redis的內(nèi)存為15G，key的數(shù)量為2KW，ops為40K到80K之間，在這種情況下：
腳本10分鐘跑完，完全可用。
說明：阿里云的腳本是支持cluster的，我這個腳本是只支持單機的，大家有興趣的可以自己去更改。
總結
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
相關文章
Redis是基于內(nèi)存的數(shù)據(jù)結構服務器，保存了大量的鍵值對數(shù)據(jù)，所以持久化到磁盤是非常必要的，Redis提供了兩種持久化的方式，分別是RDB和AOF。下面我們看下這兩種持久化方式的具體實現(xiàn)原理2022-11-11
這篇文章主要介紹了Redis實現(xiàn)代理ip池的設計方法，文中給出了詳細的介紹與示例代碼，相信對大家的理解和學習具有一定的參考借鑒價值，有需要的朋友們下面來一起看看吧。2017-01-01
這篇文章主要介紹了muduo源碼分析之TcpServer模塊,本文通過實例圖文相結合給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-04-04
本文主要介紹了為什么RedisCluster設計成16384個槽，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-09-09
本文主要介紹了Redis中Bitmap的使用示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-05-05
這篇文章主要給大家介紹了關于redis中scan命令的基本實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-10-10
本文主要介紹了Redis如何部署哨兵,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-07-07
本文將演示主從復制如何配置、實現(xiàn)以及實現(xiàn)原理，Redis主從復制三大策略，全量復制、部分復制和立即復制。2021-05-05
在實際項目中,我們可能需要根據(jù)一定的條件來刪除部分key,這時候就需要用到模糊刪除操作這,下面篇文章主要給大家介紹了關于Redis如何批量刪除指定模糊的key的相關資料,需要的朋友可以參考下2024-08-08
Redis與數(shù)據(jù)庫數(shù)據(jù)一致性的原因及解決方案
Redis作為一種高效的鍵值對存儲系統(tǒng),常用于緩存數(shù)據(jù)庫減少IO操作,下面這篇文章主要介紹了Redis與數(shù)據(jù)庫數(shù)據(jù)一致性的原因及解決方案,文中介紹的非常詳細,需要的朋友可以參考下2025-04-04