分割超大Redis數(shù)據(jù)庫(kù)例子
薄荷 App 上的伙伴功能大量使用了內(nèi)存數(shù)據(jù)庫(kù) Redis，隨著數(shù)據(jù)量的快速增長(zhǎng)，Redis 膨脹得很快，已經(jīng)接近 12 GB規(guī)模，這些數(shù)據(jù)全部放在單個(gè) Redis 實(shí)例中。單個(gè)巨大 Redis 實(shí)例有如下幾個(gè)壞處：
1.首先，需要一臺(tái)內(nèi)存很大的機(jī)器。Redis 是內(nèi)存數(shù)據(jù)庫(kù)，它需要把所有需求全部放在內(nèi)存中，需要為之裝下 12 GB的 Redis 實(shí)例，至少需要 12 GB 內(nèi)存大小的機(jī)器，考慮的預(yù)留增長(zhǎng)空間，一般需要 12 * 1.5 約 18 GB 內(nèi)存。 另外還有一個(gè)考慮的因素是，Redis 進(jìn)行硬盤數(shù)據(jù)存儲(chǔ)時(shí)，fork 進(jìn)程需要消耗同樣大小的內(nèi)存，因此一個(gè) 12GB 的 redis 實(shí)例需要 32 GB左右的內(nèi)存比較合適，這對(duì)機(jī)器提出了很高的要求，常常難以滿足。
2.然后，Redis 容易成為性能瓶頸。Redis 的并發(fā)模型是單進(jìn)程單線程，它不能充分利用多核 CPU，在請(qǐng)求數(shù)很高，或者某一些請(qǐng)求處理比較慢時(shí)（比如一些大的數(shù)據(jù)排序），可能會(huì)成為系統(tǒng)的性能瓶頸。有方法可以緩解甚至這個(gè)問題，就是建立多個(gè) Redis 實(shí)例，通過多個(gè) Redis 連接來(lái)實(shí)現(xiàn)。
3.另外，單個(gè)巨大的 Redis 實(shí)例也會(huì)增加數(shù)據(jù)管理難度，因?yàn)檫@么大的數(shù)據(jù)量，無(wú)論是復(fù)制，備份操作都比較慢，容易對(duì)線上系統(tǒng)造成沖擊。
因此，十分有必要把單個(gè)巨大的 Redis 實(shí)例分割成多個(gè)小的 Redis 實(shí)例。
使用 Redis 的復(fù)制機(jī)制，可以在線平滑處理 Redis 實(shí)例分割，幾乎不會(huì)對(duì)系統(tǒng)有很大的影響。
分割的具體操作思路如下：
1.首先，規(guī)劃 Redis 分割策略，通常是基于業(yè)務(wù)劃分，比如薄荷伙伴是基于業(yè)務(wù)分成 timeline, user_relationship, other 3個(gè) Redis 實(shí)例。規(guī)劃好之后，需要根據(jù)規(guī)劃結(jié)果對(duì)應(yīng)用程序中 Redis 程序代碼做修改，通常是有一個(gè)統(tǒng)一的 Redis 鏈接修改為多個(gè) Redis 連接，不同業(yè)務(wù)使用不同的連接。
2.然后，通過 Redis 復(fù)制功能建立多個(gè) Redis 副本，讓不同 Redis 連接使用不同的 Redis 副本，在 Redis 副本中刪除多余的數(shù)據(jù)。批量刪除某個(gè)模式的 keys，可以使用下面的 shell 命令：
redis-cli KEYS "<pattern>" | xargs redis-cli DEL
改成實(shí)際的模式，如
redis-cli KEYS "user:*:followers" | xargs redis-cli DEL
表示刪除 user followers 數(shù)據(jù)。
最后通過來(lái)回切換并重啟 Redis 實(shí)例達(dá)到完全分割 Redis 實(shí)例。
相關(guān)文章
分布式鎖很多人都能接觸到，本文主要介紹了Redis分布式非公平鎖，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08
Redis實(shí)現(xiàn)Session共享與單點(diǎn)登錄
本文主要介紹了Redis實(shí)現(xiàn)Session共享與單點(diǎn)登錄，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
這篇文章主要介紹了Redis如何安裝部署(單節(jié)點(diǎn))問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
Redis緩存預(yù)熱與緩存穿透是Redis緩存使用中的兩個(gè)重要概念,文章首先介紹了Redis緩存預(yù)熱和緩存穿透的基本概念,然后詳細(xì)闡述了它們的產(chǎn)生原因和解決方案,感興趣的可以了解一下2023-12-12
這篇文章主要給大家介紹了關(guān)于redis中熱key問題該如何解決的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用redis具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
本文介紹了在Kubernetes環(huán)境下搭建Redis集群的詳細(xì)步驟,包括環(huán)境準(zhǔn)備、安裝NFS、創(chuàng)建PV卷、搭建Redis集群、集群初始化、主從切換測(cè)試以及開放外網(wǎng)端口等內(nèi)容2025-01-01
redis支持五大數(shù)據(jù)類型，只支持第一層，也就說字典的value值，必須是字符串，本文主要介紹了redis中Hash字典操作，感興趣的可以了解一下2021-07-07
redis緩存固然高效,可是它會(huì)占用我們系統(tǒng)中寶貴的內(nèi)存資源，那該如何解決呢？這篇文章主要給大家介紹了關(guān)于redis內(nèi)存空間效率問題的相關(guān)資料，需要的朋友可以參考下2021-05-05
簡(jiǎn)單粗暴的Redis數(shù)據(jù)備份和恢復(fù)方法
這里我們來(lái)講解一個(gè)簡(jiǎn)單粗暴的Redis數(shù)據(jù)備份和恢復(fù)方法,有一個(gè)在不同主機(jī)上遷移Redis數(shù)據(jù)的示例,還有一個(gè)備份腳本實(shí)現(xiàn)的關(guān)鍵點(diǎn)提示,一起來(lái)看一下:2016-06-06
這篇文章主要介紹了Linux下Redis集群搭建全過程(主從+哨兵)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-07-07