mac使用docker搭建kafka集群方式

更新時間：2026年05月13日 09:25:54 作者：Jurzis

本文介紹了在MacOS上使用Docker部署Kafka集群的全過程,包括環(huán)境準(zhǔn)備、刪除歷史配置、編寫Dockerfile、啟動容器、配置Kafka以及生產(chǎn)者消費(fèi)者測試等內(nèi)容

一環(huán)境準(zhǔn)備

環(huán)境	參數(shù)
mac	mac os12.3
docker	4.2.0
kafka	wurstmeister/kafka
zookeeper	zookeeper:latest

二前期準(zhǔn)備

為了防止一些小伙伴前面自己做過docker搭建kafka，影響后續(xù)工作，先刪除一下之前的歷史配置，沒有做過的可以直接跳過。

刪除所有dangling數(shù)據(jù)卷（即無用的Volume，僵尸文件）

docker volume rm $(docker volume ls -qf dangling=true)

刪除所有dangling鏡像（即無tag的鏡像）

docker rmi $(docker images | grep "^<none>" | awk "{print $3}"

刪除所有關(guān)閉的容器

docker ps -a | grep Exit | cut -d ' ' -f 1 | xargs docker rm

三編寫docker文件

集群規(guī)劃

hostname	Ip addr	port	listener
zook1	172.20.10.11	2184:2181
zook2	172.20.10.12	2185:2181
zook3	172.20.10.11	2184:2181
kafka1	172.20.10.11	內(nèi)部9092:9092，外部9192:9192	kafka1
kafka2	172.20.10.11	內(nèi)部9093:9093，外部9193:9193	kafka2
Kafka3	172.20.10.16	內(nèi)部9094:9094，外部9194:9194	Kafka3
本機(jī)	（宿主機(jī)Mbp）	172.20.10.2

編寫docker文件

（1）zk-docker-compose.yml

version: '3.4'
services:
  zook1:
    image: zookeeper:latest
    #restart: always #自動重新啟動
    hostname: zook1
    container_name: zook1 #容器名稱，方便在rancher中顯示有意義的名稱
    ports:
    - 2183:2181 #將本容器的zookeeper默認(rèn)端口號映射出去
    volumes: # 掛載數(shù)據(jù)卷 前面是宿主機(jī)即本機(jī)的目錄位置，后面是docker的目錄
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook1/data:/data"
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook1/datalog:/datalog"
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook1/logs:/logs"
    environment:
        ZOO_MY_ID: 1  #即是zookeeper的節(jié)點(diǎn)值，也是kafka的brokerid值
        ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
    networks:
        docker-net:
            ipv4_address: 172.20.10.11
  zook2:   
    image: zookeeper:latest
    #restart: always #自動重新啟動
    hostname: zook2
    container_name: zook2 #容器名稱，方便在rancher中顯示有意義的名稱
    ports:
    - 2184:2181 #將本容器的zookeeper默認(rèn)端口號映射出去
    volumes:
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook2/data:/data"
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook2/datalog:/datalog"
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook2/logs:/logs"
    environment:
        ZOO_MY_ID: 2  #即是zookeeper的節(jié)點(diǎn)值，也是kafka的brokerid值
        ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
    networks:
        docker-net:
            ipv4_address: 172.20.10.12
  zook3:   
    image: zookeeper:latest
    #restart: always #自動重新啟動
    hostname: zook3
    container_name: zook3 #容器名稱，方便在rancher中顯示有意義的名稱
    ports:
    - 2185:2181 #將本容器的zookeeper默認(rèn)端口號映射出去
    volumes:
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook3/data:/data"
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook3/datalog:/datalog"
    - "/Users/zhy/opt/kafka/zookeeper/volume/zkcluster/zook3/logs:/logs"
    environment:
        ZOO_MY_ID: 3  #即是zookeeper的節(jié)點(diǎn)值，也是kafka的brokerid值
        ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
    networks:
        docker-net:
            ipv4_address: 172.20.10.13
networks:
  docker-net:
      name: docker-net

（2）kafka-docker-compose.yml

version: '2'
services:
  kafka1:
    image: docker.io/wurstmeister/kafka
    #restart: always #自動重新啟動
    hostname: kafka1
    container_name: kafka1
    ports:
      - 9093:9093
      - 9193:9193
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: INSIDE://:9093,OUTSIDE://:9193
      #KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
      KAFKA_ADVERTISED_LISTENERS: INSIDE://172.20.10.14:9093,OUTSIDE://localhost:9193
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
      ALLOW_PLAINTEXT_LISTENER : 'yes'
      JMX_PORT: 9999 #開放JMX監(jiān)控端口，來監(jiān)測集群數(shù)據(jù)
    volumes:
      - /Users/zhy/Development/volume/kafka/kafka1/wurstmeister/kafka:/wurstmeister/kafka
      - /Users/zhy/Development/volume/kafka/kafka1/kafka:/kafka
    external_links:
      - zook1
      - zook2
      - zook3
    networks:
      docker-net:
        ipv4_address: 172.20.10.14
  kafka2:
    image: docker.io/wurstmeister/kafka
    #restart: always #自動重新啟動
    hostname: kafka2
    container_name: kafka2
    ports:
      - 9094:9094
      - 9194:9194
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_LISTENERS: INSIDE://:9094,OUTSIDE://:9194
      #KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
      KAFKA_ADVERTISED_LISTENERS: INSIDE://172.20.10.15:9094,OUTSIDE://localhost:9194
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
      ALLOW_PLAINTEXT_LISTENER : 'yes'
      JMX_PORT: 9999 #開放JMX監(jiān)控端口，來監(jiān)測集群數(shù)據(jù)
    volumes:
      - /Users/zhy/Development/volume/kafka/kafka2/wurstmeister/kafka:/wurstmeister/kafka
      - /Users/zhy/Development/volume/kafka/kafka2/kafka:/kafka
    external_links:
      - zook1
      - zook2
      - zook3
    networks:
      docker-net:
        ipv4_address: 172.20.10.15
  kafka3:
    image: docker.io/wurstmeister/kafka
    #restart: always #自動重新啟動
    hostname: kafka3
    container_name: kafka3
    ports:
      - 9095:9095
      - 9195:9195
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_LISTENERS: INSIDE://:9095,OUTSIDE://:9195
      #KAFKA_ADVERTISED_LISTENERS=INSIDE://<container>:9092,OUTSIDE://<host>:9094
      KAFKA_ADVERTISED_LISTENERS: INSIDE://172.20.10.16:9095,OUTSIDE://localhost:9195
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
      ALLOW_PLAINTEXT_LISTENER : 'yes'
      JMX_PORT: 9999 #開放JMX監(jiān)控端口，來監(jiān)測集群數(shù)據(jù)
    volumes:
      - /Users/zhy/Development/volume/kafka/kafka3/wurstmeister/kafka:/wurstmeister/kafka
      - /Users/zhy/Development/volume/kafka/kafka3/kafka:/kafka
    external_links:
      - zook1
      - zook2
      - zook3
    networks:
      docker-net:
        ipv4_address: 172.20.10.16
networks:
  docker-net:
      name: docker-net

（3）kafka-manager-docker-compose.yml

version: '2'
services:
  kafka-manager:
    image: scjtqs/kafka-manager:latest
    restart: always
    hostname: kafka-manager
    container_name: kafka-manager
    ports:
      - 9000:9000
    external_links:  # 連接本compose文件以外的container
      - zook1
      - zook2
      - zook3
      - kafka1
      - kafka2
      - kafka3
    environment:
      ZK_HOSTS: zook1:2181,zook2:2181,zook3:2181
      KAFKA_BROKERS: kafka1:9093,kafka2:9094,kafka3:9095
      APPLICATION_SECRET: letmein
      KM_ARGS: -Djava.net.preferIPv4Stack=true
    networks:
      docker-net:
        ipv4_address: 172.20.10.10
networks:
  docker-net:
    external:
      name: docker-net

（4）在文件目錄下，依次啟動docker文件

docker compose -p zookeeper -f ./zk-docker-compose.yml up -d

docker compose -f ./kafka-docker-compose.yml up -d

docker compose -f ./kafka-manager-docker-compose.yml up -d

如圖：

（5）創(chuàng)建分區(qū)

隨便進(jìn)入一個kafka容器內(nèi)

cd /opt/kafka_2.13-2.8.1/

bin/kafka-topics.sh --create --zookeeper zook1:2181 --replication-factor 2 --partitions 2 --topic partopic

四整合spriongboot

pom中引入依賴

        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.12.0</version>
        </dependency>

這樣kafka的依賴會與你的springboot版本一致。

配置文件：

spring:
  kafka:
    bootstrap-servers: 172.20.10.14:9093,172.20.10.15:9094,172.20.10.16:9095
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      group-id: test
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

**注意：**（1）此版本kafka，bootstrap-servers已經(jīng)不需要依賴zookeeper，所以直接配置kafka本身的ip及端口。如果用zookeeper配置會報錯：

[Producer clientId=producer-1] Bootstrap broker 172.20.10.12:2181 (id: -2 rack: null) disconnected
06-21 23:21:36.768 ERROR

（2）但是mac中本身與容器不能互通，所以需要自己添加網(wǎng)絡(luò)代理，引用一個文章配置

（3）kafka配置文件中的KAFKA_LISTENERS配置不能用容器名，雖然用容器名配置沒問題，但是在mac本機(jī)使用，會導(dǎo)致識別不到該host。**

生產(chǎn)者代碼：

package com.ziyi.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author zhy
 * @data 2022/6/21 21:17
 */
@RestController
@RequestMapping("/kafka")
public class TestKafkaMQController {

    @Autowired
    private KafkaTemplate template;

    @RequestMapping("/sendMsg")
    public String sendMsg(String topic, String message) {
        template.send(topic, message);
        return "success";
    }

}

消費(fèi)者代碼

package com.ziyi.mq.kafka.consumer;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;

/**
 * @author zhy
 * @data 2022/6/21 21:16
 */
public class KafkaConsumer {

    @KafkaListener(topics = {"partopic"})
    public void listen(ConsumerRecord record){
        System.out.println(record.topic()+":"+record.value());
    }

}

接下來用postman測試下：

http://localhost:8081/kafka/sendMsg?topic=partopic&message=helloword

日志也沒報錯。

總結(jié)

以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

mac使用docker搭建kafka集群方式

目錄

一環(huán)境準(zhǔn)備

二前期準(zhǔn)備

三編寫docker文件

四整合spriongboot

總結(jié)

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

mac使用docker搭建kafka集群方式

目錄

一 環(huán)境準(zhǔn)備

二 前期準(zhǔn)備

三 編寫docker文件

四 整合spriongboot

總結(jié)

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

一環(huán)境準(zhǔn)備

二前期準(zhǔn)備

三編寫docker文件

四整合spriongboot