Linux下Kafka分布式集群安裝教程
Kafka（http://kafka.apache.org/） 是由 LinkedIn 使用 Scala 編寫的一個分布式消息系統(tǒng)，用作 LinkedIn 的活動流（Activity Stream）和運營數(shù)據(jù)處理管道（Pipeline）的基礎(chǔ)，具有高水平擴展和高吞吐量。Spack、Elasticsearch 都支持與 Kafka 集成。下面看一下幾種分布式開源消息隊列系統(tǒng)的對比：
Kafka 集群架構(gòu)：
一般不建議直接使用 Kafka 自帶的 Zookeeper 建立 zk 集群，這里我們使用獨立的 zk 集群，zk 集群搭建參考文章 Linux下ZooKeeper分布式集群安裝。
這里 Linux 選擇 CentOS 7.2。
# cd /usr/local # mkdir kafka # cd kafka # wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz # tar -zxvf kafka_2.11-1.0.0.tgz # mkdir kafka-logs # cd kafka_2.11-1.0.0/config # vim server.properties
編輯配置文件 (配置項可以參考 http://kafka.apache.org/documentation.html#brokerconfigs) 為：
# 唯一標(biāo)識,0開始 broker.id=0 # 服務(wù)器端口和ip port=9092 host.name=192.168.2.20 # 日志數(shù)據(jù)保存的目錄 log.dirs=/usr/local/kafka/kafka-logs log.retention.hours=168 # 每條消息能夠容納的最大大小,默認1000012 message.max.bytes=5242880 # 默認的副本因子,即保存消息的副本數(shù),默認1 default.replication.factor=2 # 取消息的最大直接數(shù),默認1048576 replica.fetch.max.bytes=5242880 # 配置zk地址 zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181
啟動 Kafka 之前需啟動 Zookeeper，然后啟動 Kafka，各個節(jié)點需單獨啟動：
# cd /usr/local/kafka/kafka_2.11-1.0.0/bin # ./kafka-server-start.sh -daemon ../config/server.properties //后臺啟動服務(wù) # jps //查看服務(wù)是否啟動成功 # ./kafka-server-stop.sh //關(guān)閉服務(wù)
最后我們在三臺不同的服務(wù)器上各部署一個 Kafka 進程，以構(gòu)成一個 Kafka 集群。開始使用可以參考官方文檔 http://kafka.apache.org/documentation.html#quickstart。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了linux-centos7擴展swap分區(qū)方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-08-08
5.3.0 的正式版已經(jīng)發(fā)布有段時間了，看到腳本之家上面有個windows下的安裝php5.3的教程，所以想起寫一個關(guān)于linux的PHP5.3的安裝教程。2009-09-09
這篇文章主要介紹了Linux中的awk數(shù)組的基本使用方法,非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下2018-08-08
Ubuntu系統(tǒng)網(wǎng)絡(luò)故障排查的方法
最近在使用Ubuntu系統(tǒng)的時候碰到一個問題，連接無線網(wǎng)絡(luò)的時候，發(fā)現(xiàn)右上角網(wǎng)絡(luò)設(shè)置中沒有 Enable Wi-Fi 這個選項了，所以通過一步步排查，終于找了解決辦法，現(xiàn)在分享給大家，有需要的朋友們可以參考借鑒。2016-10-10
這篇文章主要介紹了Linux 僵尸進程產(chǎn)生原因及解決方法,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
在本篇文章里小編給各位分享了關(guān)于Linux CPU負載和CPU使用率的相關(guān)知識點內(nèi)容，有需要的朋友們參考下。2019-07-07
這篇文章主要介紹了Linux查看服務(wù)器硬件信息的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
Canonical通過Flutter啟用Linux桌面應(yīng)用程序(推薦)
這篇文章主要介紹了Canonical通過Flutter啟用Linux桌面應(yīng)用程序,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
詳解CentOS安裝tomcat并且部署Java Web項目
本篇文章主要介紹了CentOS安裝tomcat并且部署Java Web項目，具有一定的參考價值，有需要的可以了解一下。2016-11-11
SELinux(Security-Enhanced Linux)的簡單配置，涉及SELinux的工作模式、配置文件修改、查看和修改上下文信息，以及恢復(fù)文件或目錄的上下文信息。這篇文章主要介紹了Linux中selinux基礎(chǔ)配置,需要的朋友可以參考下2018-11-11