Redis集群數(shù)據(jù)清理的操作指南
一、背景說明
生產(chǎn)測(cè)試后,Redis 集群中產(chǎn)生大量測(cè)試數(shù)據(jù)。為確保正式上線前環(huán)境干凈,需在低峰期對(duì) Redis 集群進(jìn)行全量數(shù)據(jù)清理。
二、操作前檢查
2.1 查看集群中是否存在數(shù)據(jù)
使用 Redis 工具或命令行連接任意節(jié)點(diǎn),執(zhí)行:
keys *
注意:生產(chǎn)環(huán)境建議使用 SCAN 替代 KEYS *,避免阻塞。
三、清理步驟
3.1 登錄任意一臺(tái) Redis 節(jié)點(diǎn)
執(zhí)行清理腳本:
./clear_redis_cluster.sh 10.1.33.101:8001 redis
- 參數(shù)1:集群中任意節(jié)點(diǎn)地址(IP:PORT)
- 參數(shù)2:Redis 密碼(如無密碼可省略)
3.2 腳本執(zhí)行日志示例
Clearing 10.1.33.112:8028 ... Background append only file rewriting started READONLY You can't write against a read only replica. Clearing 10.1.33.107:8007 ... Background append only file rewriting started OK
說明:
- OK 表示該節(jié)點(diǎn)清理成功
- READONLY 表示該節(jié)點(diǎn)為從節(jié)點(diǎn)(slave),無需處理,主節(jié)點(diǎn)清空后自動(dòng)同步
3.3 腳本內(nèi)容(clear_redis_cluster.sh)
#!/bin/bash
# Writed by yijian on 2018/8/20
# Batch to clear all nodes using FLUSHALL command
# 用來清空一個(gè)redis集群中的所有數(shù)據(jù),要求 FLUSHALL 命令可用,
# 如果在 redis.conf 中使用 rename 改名了 FLUSHALL,則不能執(zhí)行本腳本。
# 可帶兩個(gè)參數(shù):
# 1)參數(shù)1 集群中的任一可用節(jié)點(diǎn)(必須)
# 2)連接redis的密碼(設(shè)置了密碼才需要)
REDIS_CLI=${REDIS_CLI:-redis-cli}
REDIS_IP=${REDIS_IP:-127.0.0.1}
REDIS_PORT=${REDIS_PORT:-6379}
# 顯示用法函數(shù)
function usage()
{
echo "Usage: clear_redis_cluster.sh a_redis_node_of_cluster redis_password"
echo "Example1: clear_redis_cluster.sh '127.0.0.1:6379'"
echo "Example2: clear_redis_cluster.sh '127.0.0.1:6379' '123456'"
}
# 檢查參數(shù)個(gè)數(shù)
if test $# -lt 1 -o $# -gt 2; then
usage
exit 1
fi
# 第一個(gè)參數(shù)為集群中的節(jié)點(diǎn),
REDIS_NODE="$1"
# 第二個(gè)參數(shù)為密碼
REDIS_PASSWORD=""
if test $# -ge 2; then
REDIS_PASSWORD="$2"
fi
# 取得IP和端口
eval $(echo "$REDIS_NODE" | awk -F[\:] '{ printf("REDIS_IP=%s\nREDIS_PORT=%s\n",$1,$2) }')
if test -z "$REDIS_IP" -o -z "$REDIS_PORT"; then
echo "Parameter error: \`$REDIS_NODE\`."
usage
exit 1
fi
# 確保redis-cli可用
echo "Checking \`redis-cli\` ..."
which "$REDIS_CLI" > /dev/null 2>&1
if test $? -ne 0; then
echo "Command \`redis-cli\` is not exists or not executable."
echo "You can set environment variable \`REDIS_CLI\` to point to the redis-cli."
echo "Example: export REDIS_CLI=/usr/local/bin/redis-cli"
exit 1
fi
if test -z "$REDIS_PASSWORD"; then
redis_nodes=`redis-cli -h $REDIS_IP -p $REDIS_PORT cluster nodes | awk -F[\ \:\@] '!/ERR/{ printf("%s:%s\n",$2,$3); }'`
else
redis_nodes=`redis-cli --no-auth-warning -a "$REDIS_PASSWORD" -h $REDIS_IP -p $REDIS_PORT cluster nodes | awk -F[\ \:\@] '!/ERR/{ printf("%s:%s\n",$2,$3); }'`
fi
if test -z "$redis_nodes"; then
# Standlone(非集群)
if test -z "$REDIS_PASSWORD"; then
$REDIS_CLI -h $REDIS_IP -p $REDIS_PORT FLUSHALL ASYNC
$REDIS_CLI -h $REDIS_IP -p $REDIS_PORT BGREWRITEAOF
else
$REDIS_CLI --no-auth-warning -a "$REDIS_PASSWORD" -h $REDIS_IP -p $REDIS_PORT FLUSHALL ASYNC
$REDIS_CLI --no-auth-warning -a "$REDIS_PASSWORD" -h $REDIS_IP -p $REDIS_PORT BGREWRITEAOF
fi
else
# Cluster(集群)
for redis_node in $redis_nodes;
do
if test ! -z "$redis_node"; then
eval $(echo "$redis_node" | awk -F[\:] '{ printf("redis_node_ip=%s\nredis_node_port=%s\n",$1,$2) }')
if test ! -z "$redis_node_ip" -a ! -z "$redis_node_port"; then
# clear
echo -e "Clearing \033[1;33m${redis_node_ip}:${redis_node_port}\033[m ..."
if test -z "$REDIS_PASSWORD"; then
result=`$REDIS_CLI -h $redis_node_ip -p $redis_node_port FLUSHALL ASYNC`
$REDIS_CLI -h $redis_node_ip -p $redis_node_port BGREWRITEAOF
else
result=`$REDIS_CLI --no-auth-warning -a "$REDIS_PASSWORD" -h $redis_node_ip -p $redis_node_port FLUSHALL ASYNC`
$REDIS_CLI --no-auth-warning -a "$REDIS_PASSWORD" -h $redis_node_ip -p $redis_node_port BGREWRITEAOF
fi
if test ! -z "$result"; then
# SUCCESS
if test "$result" = "OK"; then
echo -e "\033[0;32;32m$result\033[m"
else
echo -e "\033[0;32;31m$result\033[m"
fi
fi
fi
fi
done
fi
四、清理結(jié)果確認(rèn)
4.1 使用 Redis 客戶端工具查看
連接任意節(jié)點(diǎn),執(zhí)行:
DBSIZE
返回 0 表示清理成功。
五、單機(jī) Redis 清理(非集群)
若為非集群模式,直接執(zhí)行:
FLUSHALL
六、總結(jié)與建議
- ? 使用腳本可快速清理整個(gè) Redis 集群數(shù)據(jù)
- ? 僅對(duì)主節(jié)點(diǎn)執(zhí)行
FLUSHALL,從節(jié)點(diǎn)自動(dòng)同步 - ? 建議在凌晨低峰期執(zhí)行,避免影響業(yè)務(wù)
- ? 執(zhí)行前建議備份 RDB 文件(可選)
到此這篇關(guān)于Redis集群數(shù)據(jù)清理的操作指南的文章就介紹到這了,更多相關(guān)Redis集群數(shù)據(jù)清理內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Java實(shí)現(xiàn)多級(jí)緩存的方法詳解
對(duì)于高并發(fā)系統(tǒng)來說,有三個(gè)重要的機(jī)制來保障其高效運(yùn)行,它們分別是:緩存、限流和熔斷,所以本文就來和大家探討一下多級(jí)緩存的實(shí)現(xiàn)方法,希望對(duì)大家有所幫助2024-02-02
Redis之SDS數(shù)據(jù)結(jié)構(gòu)的使用
本文主要介紹了Redis之SDS數(shù)據(jù)結(jié)構(gòu)的使用,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
Redis高階之容錯(cuò)切換的實(shí)現(xiàn)
本文主要介紹了Redis高階之容錯(cuò)切換的實(shí)現(xiàn),當(dāng)一臺(tái)主節(jié)點(diǎn)宕機(jī)后,從節(jié)點(diǎn)會(huì)自動(dòng)接管成為新的主節(jié)點(diǎn),當(dāng)原主節(jié)點(diǎn)恢復(fù)后,它不會(huì)自動(dòng)成為主節(jié)點(diǎn),需要通過手動(dòng)操作將其重新設(shè)置為從節(jié)點(diǎn),感興趣的可以了解一下2025-02-02
使用Redis快速實(shí)現(xiàn)共享Session登錄的詳細(xì)步驟
在Web開發(fā)中,Session通常用于存儲(chǔ)用戶的會(huì)話信息,允許用戶在多個(gè)頁面之間保持登錄狀態(tài),Redis是一個(gè)開源的高性能鍵值數(shù)據(jù)庫,廣泛用于緩存、消息隊(duì)列、會(huì)話存儲(chǔ)等場(chǎng)景,本文給大家介紹了如何使用Redis實(shí)現(xiàn)共享Session登錄,需要的朋友可以參考下2025-08-08
Redis做數(shù)據(jù)持久化的解決方案及底層原理
Redis有兩種方式來實(shí)現(xiàn)數(shù)據(jù)的持久化,分別是RDB(Redis Database)和AOF(Append Only File),今天通過本文給大家聊一聊Redis做數(shù)據(jù)持久化的解決方案及底層原理,感興趣的朋友一起看看吧2021-07-07

