腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

Redis分布式緩存方式(RDB、AOF、主從同步)

更新時(shí)間：2026年03月20日 10:48:33 作者：CHEN5_02

這篇文章主要介紹了Redis分布式緩存方式(RDB、AOF、主從同步),具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

1. Redis持久化

實(shí)現(xiàn)Redis數(shù)據(jù)持久化有三種方式

RDB快照：將數(shù)據(jù)寫入磁盤
AOF日志：將命令追加到文件里
混合持久化：混合RDB和AOF的優(yōu)點(diǎn)

1.1 RDB快照

RDB快照又叫做Redis數(shù)據(jù)快照，簡(jiǎn)單來(lái)說(shuō)就是，將數(shù)據(jù)記錄到磁盤中，當(dāng)Redis發(fā)生故障重啟后，可以根據(jù)快照文件進(jìn)行數(shù)據(jù)回復(fù)。

由于RDB保存的是全部數(shù)據(jù)，手動(dòng)保存所需時(shí)間可能比較久，會(huì)阻塞線程。因此我們通常使用bgsave即創(chuàng)建一個(gè)子線程去進(jìn)行數(shù)據(jù)備份。

# 900秒內(nèi)，如果至少有1個(gè)key被修改，則執(zhí)行bgsave ， 如果是save "" 則表示禁用RDB
save 900 1  
save 300 10  
save 60 10000

RDB在執(zhí)行快照時(shí)，數(shù)據(jù)能修改嗎？

可以，RDB中bgsave采用的是Write-on-Copy技術(shù)，主線程會(huì)fork一個(gè)子線程并復(fù)制主線程的頁(yè)表，當(dāng)主線程進(jìn)行讀操作時(shí)，會(huì)根據(jù)頁(yè)表的映射關(guān)系讀取到磁盤中的數(shù)據(jù)。

當(dāng)主進(jìn)程執(zhí)行寫操作時(shí)，會(huì)創(chuàng)建一個(gè)數(shù)據(jù)副本，子進(jìn)程會(huì)把數(shù)據(jù)副本也寫入磁盤。

小結(jié)：

RDB方式bgsave的基本流程？

fork主進(jìn)程得到一個(gè)子進(jìn)程，共享內(nèi)存空間
子進(jìn)程讀取內(nèi)存數(shù)據(jù)并異步寫入新的RDB文件
用新RDB文件替換舊的RDB文件

RDB會(huì)在什么時(shí)候執(zhí)行？save 60 1000代表什么含義？

默認(rèn)是服務(wù)停止時(shí)
執(zhí)行save和bgsave
代表60秒內(nèi)至少執(zhí)行1000次修改則觸發(fā)RDB

RDB的缺點(diǎn)？

RDB執(zhí)行間隔時(shí)間長(zhǎng)，兩次RDB之間寫入數(shù)據(jù)有丟失的風(fēng)險(xiǎn)
fork子進(jìn)程、壓縮、寫出RDB文件都比較耗時(shí)

1.2 AOF日志

AOF日志是Redis在執(zhí)行完命令后會(huì)把每一個(gè)命令都追加到一個(gè)文件里，當(dāng)Redis重啟后，可以根據(jù)文件里面的命令進(jìn)行數(shù)據(jù)的恢復(fù)。

1.2.1 AOF的三種回寫策略

Always:即每執(zhí)行一個(gè)命令就將該命令寫入AOF文件
Everysce:每執(zhí)行完一個(gè)命令，將該命令存入緩沖區(qū)，每隔1秒就將緩沖區(qū)里的命令一起寫入AOF文件
No：每執(zhí)行完一個(gè)命令，將該命令存入緩沖區(qū)，再由操作系統(tǒng)決定何時(shí)將命令寫入AOF文件

1.2.2 AOF重寫機(jī)制

當(dāng)AOF文件過(guò)大時(shí)會(huì)觸發(fā)重寫機(jī)制，簡(jiǎn)單來(lái)說(shuō)就是會(huì)讀取數(shù)據(jù)庫(kù)中的鍵值對(duì)數(shù)據(jù)，然后將每個(gè)鍵值對(duì)用一條命令記錄到AOF文件中，將重復(fù)的命令合成為一個(gè)命令，全部完成后，再將新的AOF文件替換掉舊的AOF文件，比如：

原本是三個(gè)命令，修改了兩次num但是實(shí)際起作用的只有最后一次修改，并且由于兩次執(zhí)行的都是set操作，因此可以合并為mset。

重寫的過(guò)程：主進(jìn)程創(chuàng)建重寫AOF的子進(jìn)程，父子進(jìn)程共享物理內(nèi)存，重寫子進(jìn)程對(duì)這個(gè)內(nèi)存為只讀，重寫子進(jìn)程會(huì)讀取數(shù)據(jù)庫(kù)里的所有鍵值對(duì)，將每個(gè)鍵值對(duì)轉(zhuǎn)化為一條命令。再將命令記錄到重寫日志（新的AOF日志）

與此同時(shí)==主進(jìn)程依然可以進(jìn)行正常命令處理。但是這時(shí)有個(gè)新問(wèn)題：如果主進(jìn)程進(jìn)行了key-value的修改，那主進(jìn)程和子進(jìn)程的內(nèi)存數(shù)據(jù)不一樣了怎么辦？

這里Redis設(shè)置了AOF重寫緩沖區(qū)==，當(dāng)Redis執(zhí)行完一個(gè)命令后，它會(huì)同時(shí)將這個(gè)命令寫入[AOF緩沖區(qū)]和[AOF重寫緩沖區(qū)]

當(dāng)子進(jìn)程執(zhí)行完重寫操作后，會(huì)向主進(jìn)程發(fā)送一條信號(hào)，主進(jìn)程收到信號(hào)后會(huì)調(diào)用信號(hào)處理函數(shù)，作用是：將AOF重寫緩沖區(qū)的所有內(nèi)容追加到新的AOF文件中，將新的AOF文件覆蓋現(xiàn)在的AOF文件。

1.3 RDB和AOF對(duì)比

1.4 混合持久化

即結(jié)合了RDB與AOF的優(yōu)點(diǎn)：AOF前半部分是RDB格式的全量數(shù)據(jù)，后半部分是AOF格式。

缺點(diǎn)：可讀性差，兼容性差。

2.Redis主從復(fù)制

如果我們將數(shù)據(jù)只存到一個(gè)Redis服務(wù)器當(dāng)中，如果該Redis宕機(jī)，就會(huì)造成嚴(yán)重后果。因此我們將數(shù)據(jù)存到多個(gè)服務(wù)器中，其中把數(shù)據(jù)同步到其他服務(wù)器采用的就是Redis主從復(fù)制。

2.1第一次同步

主從服務(wù)器的第一次同步可以分為三個(gè)階段：

第一階段是建立連接、協(xié)商同步
第二階段是主服務(wù)器同步數(shù)據(jù)給從服務(wù)器
第三階段主服務(wù)器發(fā)送新寫操作命令給從服務(wù)器

第一階段：建立連接，協(xié)商同步

當(dāng)執(zhí)行replicaof命令之后，從服務(wù)器向主服務(wù)器發(fā)送psync命令，表示要進(jìn)行數(shù)據(jù)同步。

里面包含兩個(gè)參數(shù)：

runID:每個(gè)服務(wù)器啟動(dòng)時(shí)會(huì)自動(dòng)創(chuàng)建一個(gè)隨機(jī)的runID，它可以用來(lái)與主服務(wù)器的runID進(jìn)行比較，判斷是否相同，如果相同說(shuō)明不是第一次進(jìn)行數(shù)據(jù)同步了，要進(jìn)行增量同步。如果不同說(shuō)明是第一次同步，要進(jìn)行增量同步。
offset:用來(lái)標(biāo)記復(fù)制的進(jìn)度
接收到命令后主服務(wù)器會(huì)返回FULLRESYNC命令（執(zhí)行全量同步），里面包含主服務(wù)器的runID,offset

第二階段：主服務(wù)器同步數(shù)據(jù)給從服務(wù)器

主服務(wù)器會(huì)執(zhí)行bgsave命令生成RDB文件，并發(fā)送給從服務(wù)器，從服務(wù)器收到后會(huì)先清空當(dāng)前數(shù)據(jù)，然后再載入RDB文件。
此時(shí)主服務(wù)器依然可以正常執(zhí)行命令，但是這期間進(jìn)行的操作并沒(méi)有記錄到RDB文件中，怎么保持主從數(shù)據(jù)的一致呢？

為了保持主從數(shù)據(jù)的一致性，主服務(wù)器將在下面三個(gè)時(shí)間間隔里進(jìn)行的寫操作記錄到replication buffer緩沖區(qū)中：

主服務(wù)器生成RDB文件期間
主服務(wù)器發(fā)送RDB文件期間
從服務(wù)器加載RDB文件期間

第三階段：主服務(wù)器發(fā)送新的寫操作給從服務(wù)器

在從服務(wù)器將RDB文件載入后，會(huì)發(fā)送一個(gè)確認(rèn)消息給主服務(wù)器，接著主服務(wù)器會(huì)把relication buffer緩沖區(qū)里的寫操作命令發(fā)送給從服務(wù)器，從服務(wù)器開(kāi)始執(zhí)行來(lái)自主服務(wù)器的寫操作命令。
至此第一次同步結(jié)束，兩者的數(shù)據(jù)一致。

2.2 命令傳播

主從服務(wù)器第一次同步后雙方就會(huì)簡(jiǎn)歷一個(gè)TCP連接，后續(xù)的寫操作可以通過(guò)這個(gè)連接來(lái)將命令傳播給從服務(wù)器

2.3 增量復(fù)制

當(dāng)主從服務(wù)器之間的連接斷開(kāi)后再次重新連接，同步數(shù)據(jù)的過(guò)程叫增量復(fù)制

這里也主要有三個(gè)步驟：

從服務(wù)器向主服務(wù)器發(fā)送psync命令
主服務(wù)器收到命令判斷runID一致后返回CONTINUE命令告訴從服務(wù)器使用增量同步的方式
主服務(wù)器將斷開(kāi)期間主服務(wù)器執(zhí)行的寫命令發(fā)送給從服務(wù)器，從服務(wù)器再執(zhí)行

其中

repl_backlog_buffer,和offset起到關(guān)鍵作用

repl_backlog_buffer：環(huán)形緩沖區(qū)，用于主從服務(wù)器斷開(kāi)連接后從中找到差異的數(shù)據(jù)
offset:標(biāo)記緩沖區(qū)的進(jìn)度，從服務(wù)器的offset標(biāo)記自己到哪了，主服務(wù)器標(biāo)記自己在哪里。

那repl_backlog_buffer里的內(nèi)容是什么時(shí)候?qū)懭氲哪兀?/p>

在主服務(wù)器進(jìn)行命令傳播時(shí)，也會(huì)將命令存入repl_backlog_buffer，因此這個(gè)緩沖區(qū)里存放著最近的命令。