Docker中部署flink集群的兩種方式
一、概述
本文將通過 2 種方式在 docker 中部署 flink standalone 集群，集群中共有 4 個節(jié)點，分別是 1 個 jobManager 節(jié)點和 3 個 taskManager 節(jié)點。方式一能快速部署一個 flink 集群，但是使用的是默認配置，不夠靈活，方式二使用的是外置配置文件，可以靈活控制集群配置。
二、準備工作
準備工作是方式一和方式二都需要執(zhí)行的工作，準備工作很簡單，就是用以下命令創(chuàng)建一個 flink 網(wǎng)絡(luò)
docker network create flink-network
三、方式一
依次執(zhí)行以下命令創(chuàng)建 flink 集群
docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 jobmanager docker run -d --name flink-taskmanager1 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager2 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager3 --network flink-network --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jobmanager" flink:1.16.3-java8 taskmanager
四、方式二
1、準備配置文件
1.1、復制默認的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 jobmanager-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 #taskmanager.bind-host: localhost #taskmanager.host: localhost rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.2、復制默認的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager1-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager1 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.3、復制默認的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager2-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager2 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
1.4、復制默認的 flink-conf.yaml 配置文件，并修改以下配置，然后重命名為 taskmanager3-conf.yaml 并放在 /home/debo/dockerData/flink 目錄下
jobmanager.rpc.address: flink-jobmanager jobmanager.bind-host: 0.0.0.0 taskmanager.bind-host: 0.0.0.0 taskmanager.host: flink-taskmanager3 rest.address: 0.0.0.0 rest.bind-address: 0.0.0.0
2、執(zhí)行 docker 命令
依次執(zhí)行以下命令創(chuàng)建 flink 集群
docker run -d -p 8081:8081 --name flink-jobmanager --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/jobmanager-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 jobmanager docker run -d --name flink-taskmanager1 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager1-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager2 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager2-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager docker run -d --name flink-taskmanager3 --network flink-network --mount type=bind,src=/home/debo/dockerData/flink/taskmanager3-conf.yaml,target=/opt/flink/conf/flink-conf.yaml flink:1.16.3-java8 taskmanager
到此這篇關(guān)于Docker中部署flink集群的兩種方式的文章就介紹到這了,更多相關(guān)Docker部署flink集群內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
kali安裝docker及搭建漏洞環(huán)境的詳細教程
Docker?是一個開源的應用容器引擎，讓開發(fā)者可以打包他們的應用以及依賴包到一個可移植的容器中，然后發(fā)布到任何流行的Linux機器上，也可以實現(xiàn)虛擬化，本文重點給大家介紹kali安裝docker及搭建漏洞環(huán)境的過程，感興趣的朋友一起看看吧2022-05-05
如何使用docker compose 部署ELK 8.X及監(jiān)控
這篇文章主要介紹了如何使用docker compose 部署ELK 8.X及監(jiān)控,包括前置環(huán)境配置及docker compose啟動/停止的命令,感興趣的朋友跟隨小編一起看看吧2023-10-10
樹莓派3B+安裝64位ubuntu系統(tǒng)和docker工具的操作步驟詳解
這篇文章主要介紹了樹莓派3B+安裝64位ubuntu系統(tǒng)和docker工具,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-09-09
redis集群對于很多人來說非常熟悉，雖然集群搭建的文章在網(wǎng)上很多，但是今天給大家介紹的是在docker上實現(xiàn)Redis集群搭建，感興趣的可以了解下2021-05-05
使用Docker部署openGauss國產(chǎn)數(shù)據(jù)庫的操作方法
openGauss是一款支持SQL2003標準語法，支持主備部署的高可用關(guān)系型數(shù)據(jù)庫，這篇文章主要介紹了使用Docker部署openGauss國產(chǎn)數(shù)據(jù)庫,需要的朋友可以參考下2022-10-10
這篇文章主要介紹了Docker容器網(wǎng)絡(luò)端口配置過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-10-10
Docker Compose容器編排深度解析與實戰(zhàn)小結(jié)
Docker Compose 是 Docker 官方推出的開源項目,用于定義和運行多個 Docker 容器的應用工具,簡化了多容器應用的部署和管理,本文介紹Docker Compose：容器編排深度解析與實戰(zhàn)指南,感興趣的朋友一起看看吧2025-12-12
這篇文章主要介紹了docker容器如何配置hosts文件問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
這篇文章主要介紹了docker容器中安裝mysql服務(wù)的方法，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-07-07
Zeppelin是基于Jupyter Notebook技術(shù)開發(fā)的大數(shù)據(jù)交互分析服務(wù)軟件。接下來通過本文給大家介紹docker?安裝?zeppeline的相關(guān)知識，感興趣的朋友一起看看吧2022-01-01