查看zookeeper事務(wù)日志

用vi打開發(fā)現(xiàn)亂碼，查資料發(fā)現(xiàn)說是文件里是二進(jìn)制。

zoo.cfg中可以通過dataLogDir來配置zookeeper的事務(wù)日志的輸出目錄。

但是這些日志文件是二進(jìn)制的，無法通過普通的查看名單看。

需要通過org.apache.zookeeper.server.LogFormatter。姿勢如下

在Linux中

命令如下：

java -cp :/.../slf4j-api-1.7.2.jar:/.../zookeeper-3.4.6.jar org.apache.zookeeper.server.LogFormatter /...dataLogDir/version-2/log.1

或

java -classpath :./slf4j-api-1.7.2.jar:./zookeeper-3.4.6.jar org.apache.zookeeper.server.LogFormatter log.1700000001 

第二個命令

在window中

java -classpath ".;*" org.apache.zookeeper.server.LogFormatter log.1700000001

這是把所需jar和文件放到當(dāng)前目錄下的

補(bǔ)充知識

以log.****文件開頭的是zookeeper的事務(wù)文件，每個文件大小是64m，文件名按時間遞增。

正如從代碼中看到的一樣version-2目錄中存儲著Zookeeper的事務(wù)日志文件，有看到log.10、log.4f文件，這些都是Zookeeper的事務(wù)日志文件；這兩個文件都有一個特點(diǎn)就是文件名為log.xx，大小為64MB文件的后綴xx時間最早的 數(shù)字總是比最晚的小。

如果有了解過Zookeeper的ZAB協(xié)議那肯定知道它為每一個事務(wù)請求都分配了一個事務(wù)ID也就是ZXID，上面章節(jié)也知道了xx就是Zookeeper處理請求的ZXID，該ZXID為log文件中第一條事務(wù)的ZXID；ZXID規(guī)則為前32 字節(jié)為Leader周期，后32字節(jié)為事務(wù)請求序列，所以通過事務(wù)日志就可以輕松的知道當(dāng)前的Leader周期與每個文件所屬的Leader周期；

ZooKeeper日志與快照文件簡單分析

有用過Zookeeper的都知道zoo.cfg配置文件中有dataDir配置項(xiàng)用于存儲數(shù)據(jù)，不過可能有些人不太清楚這個目錄具體存儲的是那些數(shù)據(jù)，默認(rèn)情況下這個目錄是用于存儲Log（事務(wù)日志）與Snapshot（快照）數(shù)據(jù)，但是Zookeeper還提供了一個用于Log存儲目錄的配置項(xiàng)dataLogDir而dataDir用于存儲Snapshot數(shù)據(jù)，Log文件寫入頻率非常高如果有對Snapshot文件經(jīng)常操作或是對Zookeeper性能要求非常高可以為Log與Snapshot分別配置不同的目錄存儲；本文主要是結(jié)合源碼分析Zookeeper的Log與Snapshot文件，這里我分別為Log與Snapshot配置了不同的存儲目錄：dataDir=D:/zookeeper-3.4.6/data 、dataLogDir=D:/zookeeper-3.4.6/data/log；　

事務(wù)日志與Snapshot的操作是在org.apache.zookeeper.server.persistence包中，這里也主要是分析該包下的各個類；在FileTxnSnapLog類中看到了它在我們?yōu)槭聞?wù)日志與Snapshot配置的目錄下又創(chuàng)建了一個子目錄version-2同時又指定為該兩種文件的存儲目，在里面還可以看到FileTxnLog、FileSnap類分別為處理事務(wù)日志和Snapshot的；

事務(wù)日志文件

在Zab協(xié)議中我們知道每當(dāng)有接收到客戶端的事務(wù)請求后Leader與Follower都會將把該事務(wù)日志存入磁盤日志文件中，該日志文件就是這里所說的事務(wù)日志，下面將詳細(xì)分析該日志文件；　　

FileTxnLog類用于處理事務(wù)日志文件這里就從此類開始，在該類中看到了preAllocSize、TXNLOG_MAGIC、VERSION、lastZxidSeen、dbId等這樣的屬性：　　

1. preAllocSize: 默認(rèn)預(yù)分配的日志文件的大小65536*1024字節(jié)　　

2. TXNLOG_MAGIC：日志文件魔數(shù)為ZKLG　　

3. VERSION：日志文件版本號2　　

4. lastZxidSeen：最后的ZXID

類中還有一個靜態(tài)代碼塊用于讀取配置項(xiàng)中的preAllocSize，也就是說預(yù)分配的日志文件大小是可配置的，接下來看看該類中最重要的一個方法append，該方法主要功能是創(chuàng)建新的日志文件與往日志文件中追加新的事務(wù)日志記錄；從中可以看到日志文件的

相關(guān)信息：

1. 文件名為log，后綴為十六進(jìn)制的ZXID　　

2. 日志文件頭有：magic、version、dbid　　

3. 創(chuàng)建文件后分配的文件大小為：67108864字節(jié)+16字節(jié)，其中16字節(jié)為文件頭　　

4. 使用Adler32作為日志文件的校驗(yàn)碼　　

5. 當(dāng)日志文件寫滿預(yù)分配大大小后就擴(kuò)充日志文件一倍大小

正如從代碼中看到的一樣version-2目錄中存儲著Zookeeper的事務(wù)日志文件，有看到log.10、log.4f文件，這些都是Zookeeper的事務(wù)日志文件；這兩個文件都有一個特點(diǎn)就是文件名為log.xx，大小為64MB文件的后綴xx時間最早的 數(shù)字總是比最晚的小。

如果有了解過Zookeeper的ZAB協(xié)議那肯定知道它為每一個事務(wù)請求都分配了一個事務(wù)ID也就是ZXID，上面章節(jié)也知道了xx就是Zookeeper處理請求的ZXID，該ZXID為log文件中第一條事務(wù)的ZXID；ZXID規(guī)則為前32 字節(jié)為Leader周期，后32字節(jié)為事務(wù)請求序列，所以通過事務(wù)日志就可以輕松的知道當(dāng)前的Leader周期與每個文件所屬的Leader周期；

日志文件可視化　　

事務(wù)日志文件中存儲的都是二進(jìn)制的數(shù)據(jù)，如果不借助其他工具是很難知道里面存儲的內(nèi)容的，Zookeeper也給我們提供了這樣的工具，在org.apache.zookeeper.server包中的LogFormatter類為我們提供了把事務(wù)日志文件以我們看得懂的數(shù)據(jù)輸出的功能，這里就使用該工具輸出該事務(wù)日志文件，并解釋該數(shù)據(jù)；　

LogFormatter工具的使用方法： java -cp ../../../zookeeper-3.4.6.jar;../../../lib/slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter log.1

日志分析：　　

第一行：ZooKeeper Transactional Log File with dbid 0 txnlog format version 2　　

上面的代碼分析中有說到每個日志文件都有一個這就是那里所說的日志頭，這里magic沒有輸出，只輸出了dbid還有version；

第二行：15-8-12 下午03時59分53秒 session 0x14f20ea71c10000 cxid 0x0 zxid 0x1 createSession 4000　　

這也就是具體的事務(wù)日志內(nèi)容了，這里是說xxx時間有一個sessionid為0x14f20ea71c10000、cxid為0x0、zxid為0x1、類型為createSession、超時時間為4000毫秒

第三行：15-8-12 下午03時59分54秒 session 0x14f20ea71c10000 cxid 0x1 zxid 0x2 create '/solinx0000000000,#736f6c696e78,v{s{31,s{'world,'anyone}}},F,1　　

sessionID為0x14f20ea71c10000，cxid：0x01、zxid：0x02、創(chuàng)建了一個節(jié)點(diǎn)路徑為：/solinx0000000000、節(jié)點(diǎn)內(nèi)容為：#736f6c696e78(經(jīng)過ASCII，實(shí)際內(nèi)容為solinx)、acl為world:anyone任何人都可以管理該節(jié)點(diǎn)、節(jié)點(diǎn)不是ephemeral節(jié)點(diǎn)的、父節(jié)點(diǎn)子版本：1

第四行：15-8-12 下午04時15分56秒 session 0x14f20ea71c10000 cxid 0x0 zxid 0x3 closeSession null　　

這里是說xxx時間有一個sessionid為0x14f20ea71c10000、cxid為0x0、zxid為0x3、類型為closeSession

快照文件

快照文件的處理在FileSnap類中，與事務(wù)日志文件一樣快照文件也一樣有SNAP_MAGIC、VERSION、dbId這些，這作用也只是用來標(biāo)識這是一個快照文件；Zookeeper的數(shù)據(jù)在內(nèi)存中是以DataTree為數(shù)據(jù)結(jié)構(gòu)存儲的，而快照就是每間隔一段時間Zookeeper就會把整個DataTree的數(shù)據(jù)序列化然后把它存儲在磁盤中，這就是Zookeeper的快照文件，快照文件是指定時間間隔對數(shù)據(jù)的備份，所以快照文件中數(shù)據(jù)通常都不是最新的，多久抓一個快照這也是可以配置的snapCount配置項(xiàng)用于配置處理幾個事務(wù)請求后生成一個快照文件；　　

與事務(wù)日志文件一樣快照文件也是使用ZXID作為快照文件的后綴，在FileTxnSnapLog類中的save方法中生成文件并調(diào)用FileSnap類序列化DataTree數(shù)據(jù)并且寫入快照文件中；

快照文件可視化　　

與日志文件一樣Zookeeper也為快照文件提供了可視化的工具org.apache.zookeeper.server包中的SnapshotFormatter類，接下來就使用該工具輸出該事務(wù)日志文件，并解釋該數(shù)據(jù)；　

SnapshotFormatter工具的使用方法： 

java -cp ../../zookeeper-3.4.6.jar;../../lib/slf4j-api-1.6.1.jar org.apache.zookeeper.server.SnapshotFormatter snapshot.17

快照分析　　

快照文件就很容易看得懂了，這就是Zookeeper整個節(jié)點(diǎn)數(shù)據(jù)的輸出；

第一行：ZNode Details (count=11):　　

ZNode節(jié)點(diǎn)數(shù)總共有11個

　　/cZxid = 0x00000000000000
　　ctime = Thu Jan 01 08:00:00 CST 1970
　　mZxid = 0x00000000000000
　　mtime = Thu Jan 01 08:00:00 CST 1970
　　pZxid = 0x00000000000016
　　cversion = 7
　　dataVersion = 0
　　aclVersion = 0
　　ephemeralOwner = 0x00000000000000
　　dataLength = 0

這么一段數(shù)據(jù)是說，根節(jié)點(diǎn)/：　　

• cZxid：創(chuàng)建節(jié)點(diǎn)時的ZXID　　
• ctime：創(chuàng)建節(jié)點(diǎn)的時間　　
• mZxid：節(jié)點(diǎn)最新一次更新發(fā)生時的zxid　　
• mtime：最近一次節(jié)點(diǎn)更新的時間　　
• pZxid：父節(jié)點(diǎn)的zxid　　
• cversion：子節(jié)點(diǎn)更新次數(shù)　　
• dataVersion：節(jié)點(diǎn)數(shù)據(jù)更新次數(shù)　　
• aclVersion：節(jié)點(diǎn)acl更新次數(shù)　　
• ephemeralOwner：如果節(jié)點(diǎn)為ephemeral節(jié)點(diǎn)則該值為sessionid，否則為0　　
• dataLength：該節(jié)點(diǎn)數(shù)據(jù)的長度

快照文件的末尾：

Session Details (sid, timeout, ephemeralCount): 　　0x14f211584840000, 4000, 0 　　0x14f211399480001, 4000, 0　　

這里是說當(dāng)前抓取快照文件的時間Zookeeper中Session的詳情，有兩個session超時時間都是4000毫秒ephemeral節(jié)點(diǎn)為0；

總結(jié)

以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論