Sersync+Rsync實現(xiàn)觸發(fā)式文件同步實戰(zhàn)過程
背景
通常我們在服務(wù)器上使用rsync加上crontab來定時地完成一些同步、備份文件的任務(wù)。隨著業(yè)務(wù)和應(yīng)用需求的不斷擴(kuò)大、實時性要求越來越高。一般rsync是通過校驗所有文件后，進(jìn)行差量同步，如果文件量十分龐大，那么rsync進(jìn)行校驗的過程也是十分耗時的。而且正在發(fā)生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實時的去監(jiān)測、同步數(shù)據(jù)，雖然它可以通過crontab方式進(jìn)行觸 發(fā)同步，但是兩次觸發(fā)動作一定會有時間差，這樣就導(dǎo)致了服務(wù)端和客戶端數(shù)據(jù)可能出現(xiàn)不一致，無法在應(yīng)用故障時完全的恢復(fù)數(shù)據(jù)。而Sersync+Rsync的組合能夠較好地解決這種問題。
Sersync介紹
1、sersync是使用c++編寫，而且對linux系統(tǒng)文 件系統(tǒng)產(chǎn)生的臨時文件和重復(fù)的文件操作進(jìn)行過濾（詳細(xì)見附錄，這個過濾腳本程序沒有實現(xiàn)），所以在結(jié)合rsync同步的時候，節(jié)省了運行時耗和網(wǎng)絡(luò)資源。 因此更快。
2、sersync配置起來很簡單，其中bin目錄下已經(jīng)有基本上靜態(tài)編譯的2進(jìn)制文件，配合bin目錄下的xml配置文件直接使用即可。
3、另外本項目相比較其他腳本開源項目，使用多線程進(jìn)行同步，尤其在同步較大文件時，能夠保證多個服務(wù)器實時保持同步狀 態(tài)。
4、本項目有出錯處理機(jī)制，通過失敗隊列對出錯的文件重新同步，如果仍舊失敗，則每10個小時對同步失敗的文件重新同步。
5、本項目自帶crontab功能，只需在xml配置文件中開啟，即可按您的要求，隔一段時間整體同步一次。無需再額外配置crontab功能。
6、本項目socket與http插件擴(kuò)展，滿足您二次開發(fā)的需要。
實戰(zhàn)過程
一、服務(wù)器環(huán)境
服務(wù)端：172.16.57.26 centos6.7 rsync-server 接收文件
客戶端：172.16.57.25 centos6.7 sersync+rsync-client 發(fā)送文件
二、服務(wù)端安裝rsync-server
1、安裝rsync
# rpm -qa | grep rsync #查看rsync是否已經(jīng)安裝，如果沒有安裝，yum install直接安裝即可
2、使用xinetd方式啟動rsync
# vim /etc/xinetd.d/rsync #修改disable = no，flags = IPv4
3、修改rsync配置文件
# mkdir /etc/rsyncd # vim /etc/rsyncd/rsyncd.conf #修改配置文件如下 # GLOBAL OPTIONS motd file=/etc/motd port=873 pid file=/var/run/rsyncd.pid lock file = /var/lock/rsyncd log file=/var/log/rsyncd transfer logging = yes log format = [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l syslog facility=daemon max connections=100 [recv] comment = "recv data from 57.25" path = /opt/rsync_data/recv #這邊的目錄的宿主要改為apprun，在這里同步過程中使用的是普通賬戶apprun list = yes use chroot = yes uid = apprun gid = apprun read only = no write only = no exclude = include = auth users = rsync secrets file = /etc/rsyncd/rsyncd.secrets strict modes = yes hosts allow = 172.16.57.25 hosts deny = * # ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf
4、建立用戶認(rèn)證文件
# vim /etc/rsyncd/rsyncd.secrets rsync:111111 #格式 用戶名:口令 #chmod 600 /etc/rsyncd/rsyncd.secrets #權(quán)限設(shè)為600，否則啟動會報錯
5、啟動rsync
# /etc/init.d/xinetd start # netstat -tpln | grep 873 #查看873端口是否已經(jīng)在監(jiān)聽了
三、客戶端安裝sersync+rsync-client
1、安裝rsync，和服務(wù)端一樣，沒有安裝的話yum install安裝
2、安裝sersync
# tar xzvf sersync2.5_64bit_binary_stable_final.tar.gz # mv GNU-Linux-x86 /opt/programs/sersync #解壓并拷貝到安裝目錄
3、配置sersync
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>
<sersync>
<localpath watch="/opt/rsync_data/send"> #監(jiān)控目錄，一旦本地目錄有文件變化，將同步到服務(wù)端
<remote ip="172.16.57.26" name="recv"/>#服務(wù)端ip和同步模塊
</localpath>
<rsync>
<commonParams params="-artuz"/> #rsync同步參數(shù)
<auth start="true" users="rsync" passwordfile="/etc/rsync.pas"/>?。７?wù)端認(rèn)證密碼
<userDefinedPort start="false" port="873"/>
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
</head>
4、服務(wù)端密碼認(rèn)證
# vim /etc/rsync.pas #在相應(yīng)的目錄下配置身份驗證文件，里面輸入服務(wù)端的密碼，并chmod 600 # chmod 600 /etc/rsync.pas
5、啟動sersync
# ./sersync2 -d -o confxml.xml
四、測試認(rèn)證
在客戶端下監(jiān)控目錄/opt/rsync_data/send下添加文件或者刪除，服務(wù)端的接受目錄都會實時地進(jìn)行更新。
在此例中，服務(wù)器iptables和selinux均處于關(guān)閉狀態(tài)。
note: 這種方法同步文件的時候，同步文件的數(shù)量如果很多，可能會有部分文件在同步過程中缺失。查閱相關(guān)資料后，找到了如下的解決方案。由于本例中，使用的是xinetd方式啟動的rsync服務(wù)，在xinetd的配置文件中，修改幾個參數(shù)如下：
# vim /etc/xinetd.conf
修改幾個參數(shù)：
cps = 500 30 instances = UNLIMITED per_source = UNLIMITED
總結(jié)
以上所述是小編給大家介紹的Sersync+Rsync實現(xiàn)觸發(fā)式文件同步，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關(guān)文章
Qt槽函數(shù)會被執(zhí)行多次的問題原因及解決方法
本文主要介紹了Qt槽函數(shù)會被執(zhí)行多次的問題原因及解決方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
這篇文章主要介紹了OpenCV圖像處理之常見的圖像灰度變換，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要給大家介紹了Linux中利用c語言刪除某個目錄下文件的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
VC中LINK 2001 和 LINK 2009 的錯誤的解決方法
最近將兩個開源C++項目編譯成windows版本的時候遇到很多問題，編譯的時候總是報錯，報的最多的是無法解析的外部符號”，經(jīng)過近3天的折騰總算都通過了，這里是一些總結(jié)2020-10-10
舉例分析private的作用(c/c++學(xué)習(xí))
我知道我們可以用 public 中的值，把private中的數(shù)據(jù)給提出來，但是還是搞不懂private該怎么用，或者說在一個具體程序中,private有什么用2020-08-08
C語言中對于循環(huán)結(jié)構(gòu)優(yōu)化的一些入門級方法簡介
這篇文章主要介紹了C語言中對于循環(huán)結(jié)構(gòu)優(yōu)化的一些入門級方法,包括算法設(shè)計的改進(jìn)來提高一些并行性等方法,要的朋友可以參考下2015-12-12
詳解C語言數(shù)據(jù)結(jié)構(gòu)之棧
這篇文章主要為大家介紹了C語言數(shù)據(jù)結(jié)構(gòu)之棧，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01
這篇文章主要為大家詳細(xì)介紹了C++實現(xiàn)簡單推箱子小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-08-08
本文主要介紹了Qt視頻播放器的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-08-08
這篇文章主要為大家詳細(xì)介紹了C++設(shè)計模式中的橋模式，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03