Zabbix對(duì)Kafka?topic積壓數(shù)據(jù)監(jiān)控的問(wèn)題(bug優(yōu)化)
更新時(shí)間：2022年07月01日 15:46:21 作者：木訥大叔愛(ài)運(yùn)維
這篇文章主要介紹了Zabbix對(duì)Kafka?topic積壓數(shù)據(jù)監(jiān)控,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
簡(jiǎn)述
《Zabbix對(duì)Kafka topic積壓數(shù)據(jù)監(jiān)控》一文的目的是通過(guò)Zabbix自動(dòng)發(fā)現(xiàn)實(shí)現(xiàn)對(duì)多個(gè)消費(fèi)者組的Topic及Partition的Lag進(jìn)行監(jiān)控。因在實(shí)際監(jiān)控中發(fā)現(xiàn)有問(wèn)題，為給感興趣的讀者不留坑，特通過(guò)此文對(duì)監(jiān)控進(jìn)行優(yōu)化調(diào)整。
分區(qū)自動(dòng)發(fā)現(xiàn)
# 未優(yōu)化前的計(jì)算方式：
# 自動(dòng)發(fā)現(xiàn)配置文件
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
# 執(zhí)行腳本自動(dòng)發(fā)現(xiàn)指定消費(fèi)者和topic的分區(qū)
bash consumer-groups.sh discovery
{
"data": [
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"0" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"1" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"3" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"2" }
]
}經(jīng)過(guò)上線驗(yàn)證，當(dāng)自動(dòng)發(fā)現(xiàn)配置文件只有一個(gè)test-group|test是沒(méi)有問(wèn)題的，但當(dāng)我們按需求再接入test-group|test1 （即test-group消費(fèi)者組的第二個(gè)Topic）時(shí)，自動(dòng)發(fā)現(xiàn)的結(jié)果如下：
# 未優(yōu)化前的計(jì)算方式：
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
test-group|test1
# 執(zhí)行腳本自動(dòng)發(fā)現(xiàn)指定消費(fèi)者和topic的分區(qū)
bash consumer-groups.sh discovery
{
"data": [
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"0" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"1" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"3" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"2" }
{ "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"0" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test2", "{#PARTITION}":"1" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test3", "{#PARTITION}":"2" }
]
}了解Zabbix自動(dòng)發(fā)現(xiàn)格式的同學(xué)會(huì)發(fā)現(xiàn)，每個(gè)Topic的Partition會(huì)出現(xiàn)','，這種格式是不符合規(guī)范，這就是導(dǎo)致我們的監(jiān)控項(xiàng)會(huì)出現(xiàn)問(wèn)題，因此我們需要進(jìn)一步修改腳本。
經(jīng)修改后，最終效果應(yīng)該如下：
# 優(yōu)化后的計(jì)算方式：
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
test-group|test1
# 執(zhí)行腳本自動(dòng)發(fā)現(xiàn)指定消費(fèi)者和topic的分區(qū)
bash consumer-groups.sh discovery
{
"data": [
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"0" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"1" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"3" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"2" }，
{ "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"0" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"1" },
{ "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"2" }
]
}獲取監(jiān)控項(xiàng)“test-group/test/分區(qū)X”的Lag
經(jīng)過(guò)自動(dòng)發(fā)現(xiàn)后的數(shù)據(jù)，我們可以進(jìn)一步獲取不同分區(qū)的lag
# 優(yōu)化后的計(jì)算方式： # test-group test分區(qū)0 lag bash consumer-groups.sh lag test-group test 0 # test-group test分區(qū)1 lag bash consumer-groups.sh lag test-group test 1 # test-group test1分區(qū)0 lag bash consumer-groups.sh lag test-group test1 0
通過(guò)命令可以看到，我們的參數(shù)通過(guò)消費(fèi)者組、Topic、Partition來(lái)獲取最終的lag值，如果不加消費(fèi)者區(qū)分，那么無(wú)法區(qū)分不同消費(fèi)者組和不同Topic相應(yīng)的lag結(jié)果：
# 未優(yōu)化前的計(jì)算方式： # 獲取分區(qū)0 lag bash consumer-groups.sh lag 0 # 獲取分區(qū)1 lag bash consumer-groups.sh lag 1 # 獲取分區(qū)2 lag bash consumer-groups.sh lag 2 # 獲取分區(qū)3 lag bash consumer-groups.sh lag 3
最終優(yōu)化后腳本
# 自動(dòng)發(fā)現(xiàn)配置文件
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
test-group|test1
# 自動(dòng)發(fā)現(xiàn)、lag計(jì)算腳本
vim consumer-groups.sh
#!/bin/bash
##comment: 根據(jù)消費(fèi)者組監(jiān)控topic lag，進(jìn)行監(jiān)控告警
#配置文件說(shuō)明
#消費(fèi)者組|Topic
#test-group|test
#獲取topic 信息
cal_topic() {
if [ $# -ne 2 ]; then
echo "parameter num error, 讀取topic信息失敗"
exit 1
else
/usr/local/kafka/bin/./kafka-consumer-groups.sh --bootstrap-server 192.168.3.55:9092 --describe --group $1 |grep -w $2|grep -v none
fi
}
#topic+分區(qū)自動(dòng)發(fā)現(xiàn)
topic_discovery() {
printf "{\n"
printf "\t\"data\": [\n"
m=0
num=`cat /etc/zabbix/monitor_scripts/consumer-groups.conf|wc -l`
for line in `cat /etc/zabbix/monitor_scripts/consumer-groups.conf`
do
m=`expr $m + 1`
group=`echo ${line} | awk -F'|' '{print $1}'`
topic=`echo ${line} | awk -F'|' '{print $2}'`
cal_topic $group $topic > /tmp/consumer-group-tmp
count=`cat /tmp/consumer-group-tmp|wc -l`
n=0
while read line
do
n=`expr $n + 1`
#判斷最后一行
if [ $n -eq $count ] && [ $m -eq $num ]; then
topicp=`echo $line | awk '{print $1}'`
partition=`echo $line | awk '{print $2}'`
printf "\t\t{ \"{#GROUP}\":\"${group}\", \"{#TOPICP}\":\"${topicp}\", \"{#PARTITION}\":\"${partition}\" }\n"
else
topicp=`echo $line | awk '{print $1}'`
partition=`echo $line | awk '{print $2}'`
printf "\t\t{ \"{#GROUP}\":\"${group}\", \"{#TOPICP}\":\"${topicp}\", \"{#PARTITION}\":\"${partition}\" },\n"
fi
done < /tmp/consumer-group-tmp
done
printf "\t]\n"
printf "}\n"
}
if [ $1 == "discovery" ]; then
topic_discovery
elif [ $1 == "lag" ];then
cal_topic $2 $3 > /tmp/consumer-group
cat /tmp/consumer-group |awk -v t=$3 -v p=$4 '{if($1==t && $2==p ){print $5}}'
else
echo "Usage: /data/scripts/consumer-group.sh discovery | lag"
fi
# 手動(dòng)運(yùn)行
## 自動(dòng)發(fā)現(xiàn)
bash consumer-groups.sh discovery
## test-group test分區(qū)0 lag
bash consumer-groups.sh lag test-group test 0接入Zabbix
1.Zabbix配置文件
vim userparameter_kafka.conf UserParameter=topic_discovery,bash /data/scripts/consumer-groups.sh discovery UserParameter=topic_log[*],bash /data/scripts/consumer-groups.sh lag "$1" "$2" "$3"
2.Zabbix自動(dòng)發(fā)現(xiàn)
3.監(jiān)控項(xiàng)配置
4.告警信息
告警主機(jī)：Kafka_192.168.3.55 主機(jī)IP：192.168.3.55 主機(jī)組：Kafka 告警時(shí)間：2022.03.21 00:23:10 告警等級(jí)：Average 告警信息：test-group/test/分區(qū)1:數(shù)據(jù)積壓100 告警項(xiàng)目：topic_lag[test-group,test,1] 問(wèn)題詳情： test-group/test/1: 62
到此這篇關(guān)于Zabbix對(duì)Kafka topic積壓數(shù)據(jù)監(jiān)控的文章就介紹到這了,更多相關(guān)Zabbix積壓數(shù)據(jù)監(jiān)控內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了zabbix自定義郵箱報(bào)警和微信報(bào)警,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定需要的朋友可以參考下2007-09-09
zabbix 添加你需要監(jiān)控的主機(jī)步驟詳解
這篇文章主要介紹了zabbix 添加你需要監(jiān)控的主機(jī),本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-06-06
zabbix如何添加監(jiān)控主機(jī)和自定義監(jiān)控項(xiàng)
這篇文章主要介紹了zabbix添加監(jiān)控主機(jī)和自定義監(jiān)控項(xiàng)的方法,添加自定義監(jiān)控項(xiàng)此處以監(jiān)控當(dāng)前系統(tǒng)的用戶個(gè)數(shù)為例子，通過(guò)腳本命令給大家詳細(xì)講解，需要的朋友可以參考下2022-08-08
這篇文章主要介紹了Zabbix郵件報(bào)警設(shè)置方法,在Zabbix服務(wù)端設(shè)置郵件報(bào)警，當(dāng)被監(jiān)控主機(jī)宕機(jī)或者達(dá)到觸發(fā)器預(yù)設(shè)值時(shí)，會(huì)自動(dòng)發(fā)送報(bào)警郵件到指定郵箱2014-10-10
關(guān)于Zabbix忘記admin登錄密碼重置密碼的問(wèn)題
這篇文章主要介紹了Zabbix忘記admin登錄密碼重置密碼,需要的朋友可以參考下2021-11-11
Zabbix配置監(jiān)控項(xiàng)及聚合圖形的實(shí)例代碼
這篇文章主要介紹了Zabbix配置監(jiān)控項(xiàng)及聚合圖形,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-06-06
zabbix監(jiān)控vmware exsi主機(jī)的圖文步驟
zabbix怎么監(jiān)控vmware exsi主機(jī)呢？很多網(wǎng)友私聊小編，正好今天有空給大家制作一篇教程幫助大家快速學(xué)習(xí)zabbix監(jiān)控vmware exsi主機(jī)，感興趣的朋友跟隨小編一起看看吧2021-06-06
快速通過(guò)zabbix獲取數(shù)據(jù)庫(kù)連接的信息及部分?jǐn)U展
這篇文章主要介紹了通過(guò)zabbix獲取數(shù)據(jù)庫(kù)連接的信息及部分?jǐn)U展，包括zabbix配置信息，功能腳本，本文給大家分享詳細(xì)腳本寫(xiě)法,需要的朋友可以參考下2021-06-06
zabbix 通過(guò) agent 監(jiān)控進(jìn)程、端口的詳細(xì)過(guò)程
這篇文章主要介紹了zabbix 通過(guò) agent 監(jiān)控進(jìn)程、端口的全過(guò)程,文中提到了對(duì)mysql進(jìn)程的監(jiān)控配置及創(chuàng)建觸發(fā)器的詳細(xì)過(guò)程，需要的朋友可以參考下2021-10-10
Zabbix通過(guò)PSK共享密鑰實(shí)現(xiàn)Server和Agent的通信加密
這篇文章主要介紹了Zabbix通過(guò)PSK共享密鑰實(shí)現(xiàn)Server和Agent的通信加密,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-06-06