前言

當(dāng)我們從MongoDB中刪除文檔或集合時，MongoDB并不會將已經(jīng)占用了的磁盤空間釋放，它會一直維護(hù)已經(jīng)占用了磁盤空間的數(shù)據(jù)文件，盡管數(shù)據(jù)文件中可能存在大大小小的空記錄列表（empty record list）。當(dāng)客戶端程序再次插入文檔時，MongoDB會從空記錄列表中分配存儲空間給新文檔。那么為了更加有效的使用磁盤空間，我們需要對mongodb的數(shù)據(jù)文件做碎片整理以及未使用空間的回收。思想無非兩種：

1、對原數(shù)據(jù)進(jìn)行重組

2、僅將數(shù)據(jù)復(fù)制出來，形成僅數(shù)據(jù)的完整備份

以下介紹幾種常用的實施方法：

1、compact

2、db.repairDatabase()

3、secondary節(jié)點(diǎn)重同步

4、db.copyDatabase()

一、compat

官網(wǎng)對該命令的定義：對集合中的所有數(shù)據(jù)和索引進(jìn)行重寫和碎片整理。

使用方法

use yourdatabase;
db.runCommand({ compact : 'yourCollection' });

注意事項

1、在執(zhí)行命令前請保證你有比較新的備份

2、在使用MMAPv1存儲引擎的MongoDB上compact需要數(shù)據(jù)文件所在分區(qū)至少有2G的空閑空間

3、在使用WiredTiger存儲引擎的MongoDB上，compact命令將重寫集合和索引，且釋放未使用的空間，但使用MMAPv1存儲引擎的MongoDB上，該命令只對集合的數(shù)據(jù)文件進(jìn)行碎片整理并重新創(chuàng)建其索引。不會釋放空間，在使用MMAPv1存儲引擎的MongoDB上回收空間，建議使用第三種方法“secondary節(jié)點(diǎn)重同步”

4、使用MMAPv1存儲引擎的MongoDB中的Capped Collections，是無法被壓縮的，但使用WiredTiger存儲引擎的MongoDB在執(zhí)行compact時會進(jìn)行壓縮。

5、在副本集上運(yùn)行該命令時，要分別在每個節(jié)點(diǎn)執(zhí)行

6、該命令只能在mongod實例上執(zhí)行，不能再mongos實例上運(yùn)行。也就是說針對分片集群的compact操作要分別在每個分片節(jié)點(diǎn)上執(zhí)行。

7、一般該命令運(yùn)行在secondary節(jié)點(diǎn)上，在執(zhí)行時，會強(qiáng)制節(jié)點(diǎn)進(jìn)入RECOVERING狀態(tài)，RECOVERING狀態(tài)的實例讀寫操作將被阻塞

8、再碰到特殊情況要停止運(yùn)行該命令時，可通過db.currentOp()查詢進(jìn)程信息，然后通過db.killOp()干掉進(jìn)程

9、compact可能會增加數(shù)據(jù)文件的總大小和數(shù)量，尤其是第一次運(yùn)行時。但這不會增加總集合使用的磁盤空間，因為存儲大小是數(shù)據(jù)庫文件中分配的數(shù)據(jù)量，而不是文件系統(tǒng)上文件的大小/數(shù)量

10、使用MMAPv1存儲引擎的MongoDB中的Capped Collections，是無法被壓縮的，但使用WiredTiger存儲引擎的MongoDB在執(zhí)行compact時會進(jìn)行壓縮。

二、db.repairDatabase()

官網(wǎng)該命令的定義：通過丟無效或損壞的數(shù)據(jù)老重建數(shù)據(jù)庫和索引。類似于文件系統(tǒng)修復(fù)命令fsck。所以此命令主要是用于修復(fù)數(shù)據(jù)。

使用方法

use yourdatabase;
db.repairDatabase();

注意事項

1、db.repairDatabase()主要用于修復(fù)數(shù)據(jù)。若你擁有數(shù)據(jù)的完整副本，且有權(quán)限訪問，請使用第三種方法“secondary節(jié)點(diǎn)重同步”

2、在執(zhí)行命令前請保證你有比較新的備份

3、此命令會完全阻塞數(shù)據(jù)庫的讀寫，謹(jǐn)慎操作

4、此命令執(zhí)行需要數(shù)據(jù)文件所在位置有等同于所有數(shù)據(jù)文件大小總和的空閑空間再加上2G

5、在使用MMAPv1存儲引擎的secondary節(jié)點(diǎn)上執(zhí)行該命令可以壓縮集合數(shù)據(jù)

6、在使用WiredTiger存儲引擎的MongoDB庫上執(zhí)行不會有壓縮的效果

7、再碰到特殊情況要停止運(yùn)行該命令時，可通過db.currentOp()查詢進(jìn)程信息，然后通過db.killOp()干掉進(jìn)程

8、非常消耗時間

三、secondary節(jié)點(diǎn)重同步

主要思想就是：刪除secondary節(jié)點(diǎn)中指定數(shù)據(jù)，使之與primary重新開始數(shù)據(jù)同步。當(dāng)副本集成員數(shù)據(jù)太過陳舊，也可以使用重新同步。數(shù)據(jù)的重新同步與直接復(fù)制數(shù)據(jù)文件不同，MongoDB會只同步數(shù)據(jù)，因此重同步完成后的數(shù)據(jù)文件是沒有空集合的，以此實現(xiàn)了磁盤空間的回收。

使用方法

首先必須確保數(shù)據(jù)有完整的備份。

1、若是primary節(jié)點(diǎn)，先強(qiáng)制將之變?yōu)閟econdary節(jié)點(diǎn)，否則跳過此步驟：

 rs.stepdown(120)；

2、然后在primary上刪除secondary節(jié)點(diǎn)：

 rs.remove("IP:port");

3、刪除secondary節(jié)點(diǎn)dbpath下的所有文件。

4、將節(jié)點(diǎn)重新加入集群，然后使之自動進(jìn)行數(shù)據(jù)的同步：

 rs.add("IP:port");

5、等數(shù)據(jù)同步完成后，循環(huán)1-4的步驟可以將集群中所有節(jié)點(diǎn)的磁盤空間釋放

針對一些特殊情況，不能下線secondary節(jié)點(diǎn)的，可以新增一個節(jié)點(diǎn)到副本集中，然后secondary就自動開始數(shù)據(jù)的同步了。

總的來說，重同步的方法是比較好的，第一基本不會阻塞副本集的讀寫，第二消耗的時間相對前兩種比較短

四、db.copyDatabase()

mongodb還支持在線復(fù)制數(shù)據(jù)：db.copyDatabase("from","to","IP:port"),此種方法也能釋放空間，因為db.copyDatabase復(fù)制的數(shù)據(jù)，而不是表示在磁盤中的數(shù)據(jù)文件。但，該命令在4.0版本起被棄用；3.x版本還能繼續(xù)使用

如：

 db.copyDatabase("sourceDB","DistDB");

    將源庫sourceDB。拷貝為DistDB。

當(dāng)然，該命令支持遠(yuǎn)程復(fù)制。

該命令的完整語法為：

db.copyDatabase(<源數(shù)據(jù)庫名稱>, <目標(biāo)數(shù)據(jù)庫名稱>, <源mongodb的IP：port>, <源數(shù)據(jù)庫連接需要的賬戶>,<密碼>, <mechanism>)

以上：命令必須在目標(biāo)數(shù)據(jù)庫服務(wù)器上執(zhí)行。若源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫存在于一個MongoDB服務(wù)器，<源mongodb的IP：port>, <源數(shù)據(jù)庫連接需要的賬戶>,<密碼>都可省略。<mechanism>是身份驗證類型，可選的。

注意事項

1、db.copyDatabase()不會阻塞源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫數(shù)據(jù)的讀寫，因此可能會出現(xiàn)兩份數(shù)據(jù)不一致的情況

2、db.copyDatabase()復(fù)制索引數(shù)據(jù)會鎖定數(shù)據(jù)庫，此操作也會對其他數(shù)據(jù)庫產(chǎn)生影響

3、db.copyDatabase()不要在mongos實例中使用

4、db.copyDatabase()不要用于復(fù)制包含分片集合的數(shù)據(jù)庫

5、在4.0版中更改：db.copyDatabase()僅支持SCRAM進(jìn)行身份驗證fromhost，<mechanism>選項。

6、某些不同版本的MongoDB間不支持此種復(fù)制方法，詳見鏈接：https://docs.mongodb.com/manual/reference/method/db.copyDatabase/

除此之外，還有一些方法，像使用導(dǎo)入/導(dǎo)出的方法（mongodump/mongorestore），這種方法在數(shù)據(jù)量非常大的情況是不適用的，因為導(dǎo)入導(dǎo)出的方法使用的全量的形式，要保證有足夠的空閑空間來存放導(dǎo)入的數(shù)據(jù)。

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。 

最新評論