shell腳本批量導出redis key-value方式
更新時間：2025年08月02日 08:53:27 作者：lc_1203
為避免keys全量掃描導致Redis卡頓,可先通過dump.rdb備份文件在本地恢復,再使用scan命令漸進導出key-value,通過CNT和INTERVAL參數(shù)控制負載,且scan不指定游標可減少阻塞
1 背景
需求：工作中需要導出線上redis數(shù)據(jù)，但需避免使用keys命令全量掃描，導致瞬間響應卡頓，從而引發(fā)超時等問題
方法：最安全的方式是通過dump.rdb備份文件，在本地redis實例上恢復，然后執(zhí)行shell腳本，使用scan漸進掃描批量導出key-value。
2 詳細步驟
2.1 本地docker啟動redis
本地通過docker-compose創(chuàng)建redis實例，并掛載配置文件和數(shù)據(jù)目錄
- docker-compose.yml
version: '3'
services:
redis:
image: redis
container_name: redis
restart: always
command: redis-server /etc/redis/redis.conf
ports:
- 46379:6379
environment:
TZ: Asia/Shanghai
LANG: en_US.UTF-8
volumes:
- ./mnt/conf/redis.conf:/etc/redis/redis.conf:rw
- ./mnt/data:/data:rw
- 在宿主機創(chuàng)建配置文件
指定dump恢復目錄及文件，和redis實例密碼
mkdir -p ./mnt/conf vim ./mnt/conf/redis.conf
requirepass GSef7NOoIH5R dbfilename dump.rdb dir /data
- 將dump.rdb備份文件放在宿主機
./mnt/conf/data下，啟動redis
docker-compose up -d
- 通過日志查看備份恢復進度
docker logs -f redis
- 驗證恢復情況
# 進入容器 docker exec -it redis bash # 認證 auth GSef7NOoIH5R # 查詢key數(shù)量 dbsize
2.2 shell批量導出腳本
- 進入容器
docker exec -it redis bash
- 為便于后續(xù)操作，在容器安裝vim（也可在宿主機掛載目錄創(chuàng)建shell腳本）
# 換源并安裝vim
sed -i 's/deb.debian.org/mirrors.aliyun.com/g' /etc/apt/sources.list \
&& apt update -y \
&& apt-get install -y vim
# 解決vim中文亂碼
echo -e "syntax on \nset termencoding=utf-8 \nset encoding=utf8 \nset fileencodings=utf8,ucs-bom,gbk,cp936,gb2312,gb18030" >> ~/.vimrc
- 創(chuàng)建shell腳本
使用的scan命令漸進遍歷，相對于keys命令全量遍歷速度慢些，但勝在安全，對redis的負載低。其中：
- 可通過
CNT參數(shù)設定迭代元素的數(shù)量來以控制redis負載 - 獲取value值時，通過
INTERVAL調整redis-cli的執(zhí)行間隔，來控制redis負載
vim redis_export.sh
#!/bin/bash
REDIS_HOST=localhost
REDIS_PORT=6379
REDIS_PASSWORD=GSef7NOoIH5R
CNT=1000
KEY_NAME=vc_*
KEY_FILE=key_list.txt
VALUE_FILE=value_list.txt
RESULT_FILE=kv_result.txt
INTERVAL=0.01
redis-cli -h $REDIS_HOST -p $REDIS_PORT -a $REDIS_PASSWORD scan 0 match "$KEY_NAME" count $CNT 2>/dev/null> scan_tmp_result
new_cursor=`sed -n '1p' scan_tmp_result`
sed -n '2,$p' scan_tmp_result > $KEY_FILE
while [ $new_cursor -ne 0 ]
do
redis-cli -h $REDIS_HOST -p $REDIS_PORT -a $REDIS_PASSWORD scan $new_cursor match "$KEY_NAME" count $CNT 2>/dev/null> scan_tmp_result
new_cursor=`sed -n '1p' scan_tmp_result`
echo `cat $KEY_FILE |wc -l`
sed -n '2,$p' scan_tmp_result >> $KEY_FILE
done
TOTAL=`cat $KEY_FILE |wc -l`
echo $TOTAL
> $VALUE_FILE
i=0
for key in `cat $KEY_FILE`
do
i=$(($i+1))
if [[ ${i}%1000 -eq 0 || ${i} -eq $total ]]; then
echo "$i / $TOTAL"
fi
echo "GET $key" | redis-cli $INTERVAL -h $REDIS_HOST -p $REDIS_PORT -a $REDIS_PASSWORD 2>/dev/null >> $VALUE_FILE
done
paste $KEY_FILE $VALUE_FILE > $RESULT_FILE
rm -f scan_tmp_result $VALUE_FILE $KEY_FILE
- 運行腳本
bash ./redis_export.sh
3 附錄
記錄下實踐時的其它方法/功能：
- scan掃描不指定游標，相比
keys pattern模式不會長時間阻塞redis。（可通過-i調整執(zhí)行間隔控制負載）
redis-cli -a GSef7NOoIH5R --scan --pattern "vc_*">/tmp/redis.log
- keys全量掃描（慎用）
echo "KEYS vc_*" | redis-cli -a GSef7NOoIH5R >/tmp/redis.log
總結
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Redis管道(Pipeline)技術是一種提高數(shù)據(jù)處理效率的機制,允許客戶端通過一次網(wǎng)絡往返(RTT)發(fā)送多個命令到服務端,并一次性接收所有響應,本文就來實現(xiàn)管道,感興趣的可以了解一下2024-10-10
這篇文章主要介紹了關于分布式鎖的三種實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-08-08
Redis緩存數(shù)據(jù)庫表(列單獨緩存)的示例代碼
在Redis中緩存數(shù)據(jù)庫表數(shù)據(jù),而不使用JSON結構來表示value,通常意味著我們會將數(shù)據(jù)庫表的每一行數(shù)據(jù)映射為Redis中的一個或多個鍵值對,這篇文章主要介紹了Redis緩存數(shù)據(jù)庫表(列單獨緩存),需要的朋友可以參考下2024-03-03
這篇文章主要給大家介紹了關于Redis中Scan命令踩坑的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2020-07-07
在CenOS系統(tǒng)下安裝和配置Redis數(shù)據(jù)庫的教程
這篇文章主要介紹了在CenOS系統(tǒng)下安裝和配置Redis數(shù)據(jù)庫的教程,Redis是一個可基于內存的高性能NoSQL數(shù)據(jù)庫,需要的朋友可以參考下2015-11-11
本文詳細介紹了Redis 7.2.5單節(jié)點和多節(jié)點哨兵的搭建流程,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-09-09
哨兵模式,是基于主從復制模式,主從復制的優(yōu)點全都擁有,并且主從可以實現(xiàn)自動切換,故障轉移等功能,本文主要介紹了Windows下搭建Redis哨兵集群模式的方法步驟,文中通過圖文介紹的非常詳細,感興趣的小伙伴們可以參考一下,需要的朋友可以參考下2023-09-09
Redis 經(jīng)常用于系統(tǒng)中的緩存，這樣可以解決目前 IO 設備無法滿足互聯(lián)網(wǎng)應用海量的讀寫請求的問題。本文主要介紹了淺談Redis 緩存的三大問題及其解決方案，感興趣的可以了解一下2021-07-07
這篇文章主要為大家介紹了k8s部署redis集群實現(xiàn)過程實例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-02-02
這篇文章主要介紹了詳解redis緩存與數(shù)據(jù)庫一致性問題解決，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03