如何向redis中寫(xiě)入大量的數(shù)據(jù)
更新時(shí)間：2025年08月06日 10:09:48 作者：及時(shí)機(jī)芯
文章介紹了通過(guò)Python腳本生成Redis命令并輸出至文件,再用Shell腳本批量執(zhí)行的流程,強(qiáng)調(diào)Pipeline技術(shù)可提升批量寫(xiě)入效率,并說(shuō)明如何驗(yàn)證數(shù)據(jù)插入成功
1.編寫(xiě)Python腳本，生成redis命令
- redis_info.py
#!/usr/bin/python
for i in range(5000000): #循環(huán)的數(shù)量
print 'set name'+str(i),'hello'+str(i) #str(i)將int類型轉(zhuǎn)換為str類型，否則不能進(jìn)行字符串拼接
2.運(yùn)行python腳本輸出到redis_comm.txt文件中
python redis_info.py > redis_comm.txt
- 生成一個(gè)redis_comm.txt文件
head -n 10 redis_comm.txt set name0 hello0 set name1 hello1 set name2 hello2 set name3 hello3 set name4 hello4 set name5 hello5 set name6 hello6 set name7 hello7 set name8 hello8 set name9 hello9
3.將redis命令生成Redis Protocol
編寫(xiě)腳本redis_data.sh
- #!/bin/bash
while read CMD; do
# each command begins with *{number arguments in command}
XS=($CMD); printf "*${#XS[@]}
"
# for each argument, we append ${length}
{argument}
for X in $CMD; do printf "$${#X}
$X
"; done
done < redis_comm.txt
4.運(yùn)行shell腳本
sh redis_data.sh > redis_data.txt head -n 10 redis_data.txt *3 $3 set $5 name0 $6 hello0 *3 $3 set
5.管道（Pipeline）就是為了改善這個(gè)情況的
利用管道技術(shù)，客戶端可以一次性發(fā)送多個(gè)請(qǐng)求而不用等待服務(wù)器的響應(yīng)，待所有命令都發(fā)送完后再一次性讀取服務(wù)的響應(yīng)。
cat redis_data.txt |redis-cli -h 192.168.102.95 --pipe
直接就可以運(yùn)行了
6.驗(yàn)證，去查看數(shù)據(jù)是否插入成功
info查看
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Redis鍵遷移(move、dump、restore、migrate)的三種實(shí)現(xiàn)
鍵遷移就是把數(shù)據(jù)由一個(gè)Redis遷移到另一個(gè)Redis,本文主要介紹了Redis鍵遷移(move、dump、restore、migrate)的三種實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2025-04-04
這篇文章主要介紹了使用Redis如何設(shè)置永久有效，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-01-01
詳解利用redis + lua解決搶紅包高并發(fā)的問(wèn)題
本篇文章主要介紹了利用redis + lua解決搶紅包高并發(fā)的問(wèn)題 ，詳細(xì)的講訴了需求分析和方案，有興趣的可以了解一下。2016-11-11
一文詳解Redis在Ubuntu系統(tǒng)上的安裝步驟
安裝redis在Ubuntu上有多種方法,下面這篇文章主要給大家介紹了關(guān)于Redis在Ubuntu系統(tǒng)上安裝的相關(guān)資料,文中通過(guò)圖文以及代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-07-07
文章介紹了如何在SpringBoot中使用Redis和@Cacheable注解進(jìn)行緩存分頁(yè)數(shù)據(jù),以及在數(shù)據(jù)更新時(shí)如何更新緩存,通過(guò)使用@EnableCaching、@Cacheable、@CachePut和@CacheEvict注解,可以簡(jiǎn)化緩存操作并提高系統(tǒng)性能2025-11-11
Linux下安裝Redis 6.0.5的實(shí)現(xiàn)
本文詳細(xì)介紹了在Linux系統(tǒng)下安裝Redis 6.0.5的步驟,包括安裝準(zhǔn)備、編譯安裝、啟動(dòng)服務(wù)、設(shè)置密碼和配置文件修改等,具有一定的參考價(jià)值,感興趣的可以了解一下2025-02-02
這篇文章主要介紹了圖解Redis主從復(fù)制與Redis哨兵機(jī)制,今天分享一下Redis的持久化、事務(wù)、管道相關(guān)的知識(shí)點(diǎn),需要的朋友可以參考下2023-03-03
Redis連接失敗：客戶端IP不在白名單中的問(wèn)題分析與解決方案
在現(xiàn)代分布式系統(tǒng)中,Redis作為一種高性能的內(nèi)存數(shù)據(jù)庫(kù),被廣泛應(yīng)用于緩存、消息隊(duì)列、會(huì)話存儲(chǔ)等場(chǎng)景,然而,在實(shí)際使用過(guò)程中,我們可能會(huì)遇到各種連接問(wèn)題,其中“客戶端IP不在白名單中”是一個(gè)常見(jiàn)的錯(cuò)誤,本文將從錯(cuò)誤分析、原因排查、解決方案等詳細(xì)探討如何解決這一問(wèn)題2025-01-01
Redis如何使用Pipeline實(shí)現(xiàn)批處理操作
Redis?Pipeline?是一種優(yōu)化?Redis?操作的機(jī)制,通過(guò)將多個(gè)命令打包發(fā)送到?Redis?服務(wù)器,減少客戶端與服務(wù)器之間的網(wǎng)絡(luò)往返時(shí)間,本文主要來(lái)聊聊Redis如何使用Pipeline實(shí)現(xiàn)批處理操作,需要的可以了解下2025-02-02
每隔一段時(shí)間就掃描一定數(shù)據(jù)的設(shè)置了過(guò)期時(shí)間的key,并清除其中已過(guò)期的keys,本文主要介紹了深入理解redis刪除策略和淘汰策略,感興趣的可以了解一下2024-08-08