Nginx整合Kafka的方法示例
背景
nginx-kafka-module是nginx的一個(gè)插件，可以將kafka整合到nginx中，便于web項(xiàng)目中前端頁面埋點(diǎn)數(shù)據(jù)的收集，如前端頁面設(shè)置了埋點(diǎn)，即可將用戶的一些訪問和請求數(shù)據(jù)通過http請求直接發(fā)送到消息中間件kafka中，后端可以通過程序消費(fèi)kafka中的消息來進(jìn)行實(shí)時(shí)的計(jì)算。比如通過SparkStream來實(shí)時(shí)的消費(fèi)Kafka中的數(shù)據(jù)來分析用戶PV,UV、用戶的一些行為及頁面的漏斗模型轉(zhuǎn)化率，來更好的對系統(tǒng)進(jìn)行優(yōu)化或者對來訪用戶進(jìn)行實(shí)時(shí)動(dòng)態(tài)的分析。
具體整合步驟
1.安裝git
yum install -y git
2.切換到/usr/local/src目錄，然后將kafka的c客戶端源碼clone到本地
cd /usr/local/src git clone https://github.com/edenhill/librdkafka
3.進(jìn)入到librdkafka，然后進(jìn)行編譯
cd librdkafka yum install -y gcc gcc-c++ pcre-devel zlib-devel ./configure make && make install
4.安裝nginx整合kafka的插件，進(jìn)入到/usr/local/src，clone nginx整合kafka的源碼
cd /usr/local/src git clone https://github.com/brg-liuwei/ngx_kafka_module
5.進(jìn)入到nginx的源碼包目錄下 （編譯nginx，然后將將插件同時(shí)編譯）
cd /usr/local/src/nginx-1.12.2 ./configure --add-module=/usr/local/src/ngx_kafka_module/ make && make install
6.修改nginx的配置文件：設(shè)置一個(gè)location和kafaka的topic，詳情請查看當(dāng)前目錄的nginx.conf
#添加配置(2處)
kafka;
kafka_broker_list f1:9092 f2:9092 f3:9092;
location = /kafka/access {
kafka_topic access888;
}
如下圖：
7.啟動(dòng)zk和kafka集群(創(chuàng)建topic)
zkServer.sh start kafka-server-start.sh -daemon config/server.properties
8.啟動(dòng)nginx，報(bào)錯(cuò)，找不到kafka.so.1的文件
error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
9.加載so庫
#開機(jī)加載/usr/local/lib下面的庫 echo "/usr/local/lib" >> /etc/ld.so.conf #手動(dòng)加載 ldconfig
10.測試，向nginx中寫入數(shù)據(jù)，然后觀察kafka的消費(fèi)者能不能消費(fèi)到數(shù)據(jù)
curl http://localhost/kafka/access -d "message send to kafka topic" curl http://localhost/kafka/access -d "小偉666"測試
也可以模擬頁面埋點(diǎn)請求接口來發(fā)送信息：
后臺(tái)Kafka消費(fèi)信息如圖：
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
今天小編就為大家分享一篇關(guān)于nginx proxy_cache批量清除緩存的腳本介紹，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-02-02
這篇文章主要介紹了Nginx單IP地址配置多個(gè)SSL證書的方法示例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-11-11
SpringBoot前端后端分離之Nginx服務(wù)器下載安裝過程
Nginx是一款輕量級的Web服務(wù)器/反向代理服務(wù)器及電子郵件(IMAP/POP3)代理服務(wù)器，這篇文章主要介紹了SpringBoot前端后端分離之Nginx服務(wù)器,需要的朋友可以參考下2022-08-08
解決Nginx + PHP（FastCGI）遇到的502 Bad Gateway錯(cuò)誤
昨日，有朋友問我，他將Web服務(wù)器換成Nginx 0.6.31 + PHP 4.4.7（FastCGI）后，有時(shí)候訪問會(huì)出現(xiàn)“502 Bad Gateway”錯(cuò)誤，如何解決。2009-10-10
這篇文章主要介紹了使Nginx服務(wù)器支持.htaccess的方法,.htaccess配置文件設(shè)置是Apache上的好東西,現(xiàn)在我們讓Nginx服務(wù)器也能使用它,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Nginx配置proxy_pass后返回404的問題及解決,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
這篇文章主要介紹了Nginx中 文域名配置詳解及實(shí)現(xiàn)的相關(guān)資料,Nginx虛擬主機(jī)上綁定一個(gè)帶中文域名但是不能跳轉(zhuǎn)，這里給大家說下如何實(shí)現(xiàn)，需要的朋友可以參考下2016-12-12
這篇文章主要為大家詳細(xì)介紹了Nginx配置出現(xiàn)訪問白屏問題的原因以及該如何解決,文中的示例代碼簡潔易懂,有需要的小伙伴可以參考一下2025-02-02
泛域名就是我們平常指的二級和三級域名等,這里我們來總結(jié)一下Nginx中泛域名解析配置的實(shí)例教程,包括正則匹配等細(xì)節(jié)的講解,需要的朋友可以參考下2016-05-05
這篇文章主要為大家介紹了filebeat收集json格式的tomcat日志詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-08-08