這次帶來(lái)了Kafka 集群部署與配置，手把手教你完成 kafka安裝，從下載安裝到環(huán)境配置，快速搭建 Kafka 運(yùn)行環(huán)境。

前言

Apache Kafka 是一個(gè)分布式流處理平臺(tái)，被廣泛應(yīng)用于大數(shù)據(jù)實(shí)時(shí)處理領(lǐng)域。本文將詳細(xì)介紹如何在集群環(huán)境中部署 Kafka 4.0.1 版本。

在正式開始之前，請(qǐng)務(wù)必注意以下兩點(diǎn)：

1.前置依賴：Kafka 強(qiáng)依賴于 ZooKeeper 來(lái)進(jìn)行集群管理和元數(shù)據(jù)存儲(chǔ)，雖然新版推出了 KRaft 模式，但很多傳統(tǒng)部署仍在使用 ZK。如果你還沒(méi)有搭建好 ZooKeeper 集群，請(qǐng)務(wù)必先移步閱讀并完成《二、ZooKeeper 集群部署搭建》
2.操作范圍：本文中涉及到的所有配置文件修改（特別是 server.properties 中的特定參數(shù)），必須在你的多臺(tái)虛擬機(jī)（本文以我自己的uhadoop01, uhadoop02, uhadoop03為例）上分別進(jìn)行配置和修改，絕不是一臺(tái)虛擬機(jī)就能解決的。

第一步：下載 Kafka 安裝包

首先，我們需要從 Apache Kafka 官網(wǎng)下載對(duì)應(yīng)版本的二進(jìn)制安裝包。

官網(wǎng)下載鏈接：https://kafka.apache.org/community/downloads/

打開上述鏈接，向下滾動(dòng)找到你需要的版本（本教程以最新的 4.0.1 版本為例）。
由于我們主要是運(yùn)行 Kafka，而不是去編譯它的源碼，所以一定要選擇 Binary download 下的鏈接。推薦選擇 Scala 2.13 編譯的版本。
點(diǎn)擊下載 kafka_2.13-4.0.1.tgz 到你的本地，或者直接在服務(wù)器上使用 wget 命令下載。

第二步：解壓與重命名

將下載好的壓縮包上傳到你的第一臺(tái)虛擬機(jī)（例如 uhadoop01）的指定目錄，本教程假設(shè)你將安裝包放在了 /export/softwares/ 目錄下。

1. 解壓安裝包：
進(jìn)入存放壓縮包的目錄，并將其解壓到我們專門存放服務(wù)程序的 /export/server/ 目錄下：

cd /export/softwares/
tar -zxvf kafka_2.13-4.0.1.tgz -C /export/server/

2. 重命名目錄：
為了后續(xù)配置環(huán)境變量和操作的方便，我們將解壓后較長(zhǎng)的目錄名重命名為一個(gè)簡(jiǎn)短的名字 kafka：

cd /export/server/
mv kafka_2.13-4.0.1/ kafka
ls

執(zhí)行 ls 命令后，你應(yīng)該能看到 kafka 目錄已經(jīng)和 hadoop、hive 等并列存在了。

第三步：修改 Kafka 核心配置文件

Kafka 的所有核心配置都在其安裝目錄下的 config/server.properties 文件中。

1. 進(jìn)入配置目錄并打開配置文件：

cd /export/server/kafka/config/
vim server.properties

2. 配置數(shù)據(jù)存儲(chǔ)路徑 log.dirs：
在文件中找到 log.dirs 配置項(xiàng)。Kafka 雖然叫流處理平臺(tái)，但它會(huì)把消息數(shù)據(jù)持久化到磁盤上。這里配置的就是消息日志數(shù)據(jù)的存放目錄。
將其修改為你規(guī)劃的路徑，例如：

log.dirs=/export/server/kafka/data

3. 配置網(wǎng)絡(luò)監(jiān)聽(tīng) listeners 和 advertised.listeners：

注意：如果你使用的是 KRaft 模式，這一步可能還會(huì)涉及到 controller 的配置。

在配置文件中找到 listeners 和 advertised.listeners。

listeners：Kafka Broker 綁定的本地網(wǎng)卡地址和端口。
advertised.listeners：Broker 暴露給外部客戶端（Producer/Consumer）連接的地址。

【關(guān)鍵注意】這里配置的 IP 或主機(jī)名（如 uhadoop01）必須根據(jù)你當(dāng)前虛擬機(jī)的主機(jī)名進(jìn)行更改！在 uhadoop02 上就必須寫 uhadoop02！

配置示例（以 uhadoop01 為例）：

listeners=PLAINTEXT://uhadoop01:9092,CONTROLLER://uhadoop01:9093
advertised.listeners=PLAINTEXT://uhadoop01:9092,CONTROLLER://uhadoop01:9093

4. 配置集群仲裁投票節(jié)點(diǎn) controller.quorum.voters：

注意：此項(xiàng)配置通常出現(xiàn)在較新版本的 KRaft 模式中，如果是傳統(tǒng) ZK 模式，則是配置 zookeeper.connect

這里用于配置集群中的 Controller 節(jié)點(diǎn)列表。這一項(xiàng)在三臺(tái)機(jī)器上配置內(nèi)容是一樣的。

controller.quorum.voters=1@uhadoop01:9093,2@uhadoop02:9093,3@uhadoop03:9093

【再次提醒】完成 uhadoop01 的配置后，你需要將整個(gè) kafka 文件夾分發(fā)到 uhadoop02 和 uhadoop03。并在分發(fā)后，分別登錄到另外兩臺(tái)機(jī)器，修改它們各自 server.properties 文件中的 node.id (通常 1, 2, 3 遞增) 以及上面提到的 listeners 和 advertised.listeners 中的主機(jī)名！

第四步：創(chuàng)建數(shù)據(jù)存儲(chǔ)目錄

我們?cè)?server.properties 中指定了 log.dirs=/export/server/kafka/data，但這個(gè)目錄在剛解壓時(shí)是不存在的，我們需要手動(dòng)創(chuàng)建它。（注意：三臺(tái)機(jī)器都要執(zhí)行此操作！）

mkdir -p /export/server/kafka/data

把修改后的全部傳給另外兩臺(tái)虛擬機(jī)

cd /export/server/
scp -r kafka uhadoop02:$PWD

第五步：配置系統(tǒng)環(huán)境變量

為了能在任何路徑下直接運(yùn)行 Kafka 的各種腳本命令（如 kafka-topics.sh），我們需要將 Kafka 的 bin 目錄加入到系統(tǒng)的 PATH 環(huán)境變量中。（注意：三臺(tái)機(jī)器都要配置環(huán)境變量！）

1. 打開環(huán)境變量配置文件：

vim /etc/profile

2. 在文件末尾添加以下內(nèi)容：

# KAFKA_HOME
export KAFKA_HOME=/export/server/kafka
export PATH=$PATH:$KAFKA_HOME/bin

3. 使環(huán)境變量配置立即生效：

source /etc/profile

第六步：驗(yàn)證安裝

最后，我們需要驗(yàn)證一下環(huán)境變量是否配置成功，以及 Kafka 是否能被系統(tǒng)識(shí)別。

在終端任意路徑下，輸入以下命令查看 Kafka 的相關(guān)工具版本：

kafka-topics.sh --version

如果終端成功輸出了你安裝的 Kafka 版本號(hào)（例如 4.0.1），那么恭喜你，Kafka 的基礎(chǔ)部署和配置已經(jīng)大功告成！

接下來(lái)，你就可以去格式化存儲(chǔ)目錄并啟動(dòng)集群了。

到此這篇關(guān)于Apache Kafka安裝詳細(xì)教程的文章就介紹到這了,更多相關(guān)Kafka安裝內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論