Docker快速搭建Kafka集群及測試的技術(shù)指南
更新時(shí)間：2025年04月22日 09:20:26 作者：開拖拉機(jī)的小鑫
Kafka是一款高吞吐量的分布式消息系統(tǒng),配合Zookeeper可實(shí)現(xiàn)集群化部署,本文將通過Docker容器技術(shù)快速搭建3節(jié)點(diǎn)Kafka集群并完成消息生產(chǎn)消費(fèi)測試,感興趣的可以了解下
前言 Apache
Kafka是一款高吞吐量的分布式消息系統(tǒng)，配合Zookeeper可實(shí)現(xiàn)集群化部署。本文通過Docker容器技術(shù)，?3分鐘快速搭建3節(jié)點(diǎn)Kafka集群并完成消息生產(chǎn)消費(fèi)測試。
一、環(huán)境準(zhǔn)備
?系統(tǒng)要求：Linux/macOS（Windows需安裝Docker Desktop）
?Docker版本：建議使用20.10+
?網(wǎng)絡(luò)配置：確保2181(Zookeeper)、9092-9094(Kafka)端口開放
二、安裝Zookeeper服務(wù)
1. 拉取鏡像
docker search zookeeper # 查看可用鏡像 docker pull wurstmeister/zookeeper # 拉取官方推薦鏡像
2. 啟動(dòng)容器
docker run -d --name zookeeper \ -p 2181:2181 \ -t wurstmeister/zookeeper
三、搭建Kafka集群
1. 拉取Kafka鏡像
docker search kafka --limit=50 # 查找鏡像 docker pull wurstmeister/kafka # 拉取鏡像
2. 啟動(dòng)3個(gè)Broker節(jié)點(diǎn)
注意：將下方所有xxx替換為服務(wù)器真實(shí)IP地址
# Broker 0（端口9092） docker run -d --name kafka0 \ -p 9092:9092 \ -e KAFKA_BROKER_ID=0 \ -e KAFKA_ZOOKEEPER_CONNECT=xxx:2181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xxx:9092 \ -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \ wurstmeister/kafka # Broker 1（端口9093） docker run -d --name kafka1 \ -p 9093:9093 \ -e KAFKA_BROKER_ID=1 \ -e KAFKA_ZOOKEEPER_CONNECT=xxx:2181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xxx:9093 \ -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 \ wurstmeister/kafka # Broker 2（端口9094） docker run -d --name kafka2 \ -p 9094:9094 \ -e KAFKA_BROKER_ID=2 \ -e KAFKA_ZOOKEEPER_CONNECT=xxx:2181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xxx:9094 \ -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 \ wurstmeister/kafka
3. 驗(yàn)證集群狀態(tài)
docker ps # 應(yīng)顯示4個(gè)容器（1個(gè)Zookeeper + 3個(gè)Kafka）
四、測試消息生產(chǎn)與消費(fèi)
測試準(zhǔn)備
打開兩個(gè)終端窗口，分別執(zhí)行以下操作：
窗口1：生產(chǎn)者（發(fā)送消息）
# 進(jìn)入任意Kafka容器 docker exec -it kafka0 /bin/bash # 進(jìn)入腳本目錄（注意版本號(hào)可能不同） cd /opt/kafka_2.13-2.7.0/bin # 啟動(dòng)生產(chǎn)者并創(chuàng)建test主題 ./kafka-console-producer.sh \ --broker-list localhost:9092 \ --topic test
窗口2：消費(fèi)者（接收消息）
# 進(jìn)入同一Kafka容器 docker exec -it kafka0 /bin/bash # 進(jìn)入腳本目錄 cd /opt/kafka_2.13-2.7.0/bin # 啟動(dòng)消費(fèi)者 ./kafka-console-consumer.sh \ --bootstrap-server localhost:9092 \ --topic test \ --from-beginning
測試結(jié)果
- 生產(chǎn)者窗口輸入任意文本（如Hello Kafka!）
- 消費(fèi)者窗口將實(shí)時(shí)顯示接收的消息
五、關(guān)鍵參數(shù)說明
| 環(huán)境變量 | 作用 |
|---|---|
| KAFKA_BROKER_ID | 節(jié)點(diǎn)唯一標(biāo)識(shí)（集群內(nèi)不可重復(fù)） |
| KAFKA_ZOOKEEPER_CONNECT | Zookeeper服務(wù)地址 |
| KAFKA_ADVERTISED_LISTENERS | 對外暴露的訪問地址 |
| KAFKA_LISTENERS | 容器內(nèi)部監(jiān)聽地址 |
六、常見問題排查
1. 連接超時(shí)
檢查服務(wù)器安全組/防火墻是否開放端口
確認(rèn)IP地址是否正確替換
2. 消費(fèi)者無數(shù)據(jù)
添加–from-beginning參數(shù)讀取歷史消息
檢查topic是否創(chuàng)建成功：
./kafka-topics.sh --list --bootstrap-server localhost:9092
3. 容器啟動(dòng)失敗
查看日志定位問題：
docker logs -f kafka0
以上就是Docker快速搭建Kafka集群及測試的技術(shù)指南的詳細(xì)內(nèi)容，更多關(guān)于Docker搭建Kafka集群的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
docker進(jìn)行本地部署的實(shí)現(xiàn)示例
本文主要介紹了docker進(jìn)行本地部署的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2025-09-09
這篇文章主要介紹了linux 詳解useradd 命令基本用法的相關(guān)資料,需要的朋友可以參考下2017-01-01
在docker-compose.yml文件中配置容器的環(huán)境變量方式
本文介紹了在docker-compose.yml文件中設(shè)置和使用環(huán)境變量的方法,包括直接設(shè)置環(huán)境變量、從文件讀取環(huán)境變量以及使用多個(gè)環(huán)境文件進(jìn)行不同部署環(huán)境的配置2024-11-11
使用Docker部署MySQL數(shù)據(jù)庫的兩種方法
在現(xiàn)代軟件開發(fā)中,MySQL 是一種流行的關(guān)系數(shù)據(jù)庫管理系統(tǒng),因其可靠性和易用性受到廣泛歡迎,通過 Docker,可以快速、便捷地部署和管理 MySQL 數(shù)據(jù)庫實(shí)例,本文將介紹兩種通過 Docker 部署 MySQL 的方法,需要的朋友可以參考下2024-10-10
Docker通過命名空間實(shí)現(xiàn)進(jìn)程、網(wǎng)絡(luò)等隔離,利用Cgroups控制資源,聯(lián)合文件系統(tǒng)分層存儲(chǔ)并支持?jǐn)?shù)據(jù)持久化,數(shù)據(jù)卷技術(shù)確保容器數(shù)據(jù)不受生命周期影響2025-09-09
本文主要介紹了docker搭建Zookeeper集群的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-05-05
這篇文章主要介紹了通過idea打包項(xiàng)目到docker的操作方法,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-05-05
Docker每次啟動(dòng)容器,IP及hosts指定的操作
這篇文章主要介紹了Docker每次啟動(dòng)容器,IP及hosts指定的操作，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
樹莓派4b ubuntu19 server 安裝docker-ce的安裝步驟
這篇文章主要介紹了樹莓派4b ubuntu19 server 安裝docker-ce的安裝步驟，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
這篇文章主要介紹了基于docker的caffe環(huán)境搭建方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-06-06