linux發(fā)行版中大多都自帶rsync，不過(guò)版本比較低，一般都是2.6.X
在2.X的版本中，rsync備份時(shí)都是先列表再備份(添加或者刪除)，在處理大量文件時(shí)，會(huì)耗費(fèi)比較多的內(nèi)存。
備份的時(shí)候，rsync掃描到的每個(gè)文件(目錄也一樣)，在它的列表中約占100字節(jié)的內(nèi)存，如果加了--delete參數(shù)的話(huà)，占用的內(nèi)存會(huì)更多。
例如我這里一臺(tái)服務(wù)器，約800萬(wàn)的圖片，而且更新比較頻繁，文件數(shù)增長(zhǎng)比較快，差不多每天增加約10萬(wàn)張。備份的時(shí)候，rsync大約占用了將近2G的內(nèi)存，大量?jī)?nèi)存的占用，造成服務(wù)器物理內(nèi)存不足，進(jìn)而使用到swap，然后產(chǎn)生更高的iowait(交換內(nèi)存)，進(jìn)而造成rsync列表更慢，并且影響到服務(wù)器上的業(yè)務(wù)。
對(duì)于這樣的情況，在rsync 3.X出現(xiàn)之前，人們普遍給出的建議是把備份操作給拆分成若干個(gè)小的備份操作。比如原來(lái)有10個(gè)圖片目錄一起備份，現(xiàn)在拆成10個(gè)備份操作，每次只備份其中一個(gè)。另外，還有人建議減小目錄的深度，這樣可以減小目錄的數(shù)量，可以減少rsync占用的內(nèi)存。另外還有個(gè)叫做digisync的軟件，是專(zhuān)門(mén)用來(lái)備份G級(jí)數(shù)量的文件的。

rsync 3.X采用的是incremental file list，與原來(lái)的 2.X相比，現(xiàn)在是一邊列表一邊備份(添加或刪除)。這對(duì)于大量文件的備份操作來(lái)說(shuō)，無(wú)疑節(jié)省了很多時(shí)間。
實(shí)測(cè)發(fā)現(xiàn)，rsync 3.0.4備份時(shí)占用的內(nèi)存大約時(shí)4M，跟一個(gè)apache進(jìn)程占用的內(nèi)存差不多。

rsync 的主頁(yè)在http://samba.anu.edu.au/rsync/ 目前最新穩(wěn)定版本為 rsync-3.1.1

然后運(yùn)行 rsync --version 來(lái)看看版本號(hào)

需要注意的是，源主機(jī)和目的主機(jī)必須都升級(jí)到 rsync 3.X 才能使用到rsync 3.X的新特性。

值得一提的是，自從 2006年11月6號(hào)發(fā)布 version 2.6.9以后，一直到08年3月才發(fā)布3.0，使得很長(zhǎng)一段時(shí)間內(nèi)，大家不得不找各種各樣的辦法來(lái)處理大量的文件備份操作

最新評(píng)論