巨鯨任務(wù)調(diào)度平臺為美柚大數(shù)據(jù)研發(fā)的分布式計算任務(wù)調(diào)度系統(tǒng)，提供Spark、Flink等批處理任務(wù)的DAG執(zhí)行調(diào)度和流處理任務(wù)的狀態(tài)監(jiān)測調(diào)度，并具有重復(fù)應(yīng)用檢測、大內(nèi)存應(yīng)用檢測等功能。 服務(wù)基于Spring Boot 2.0開發(fā)，打包后即可運行。

環(huán)境準(zhǔn)備：

Java 1.8+

Mysql 5.1.0+

安裝：

1、創(chuàng)建數(shù)據(jù)庫：big-whale

2、運行數(shù)據(jù)庫腳本：big-whale.sql

3、根據(jù)Spring Boot環(huán)境，配置相關(guān)數(shù)據(jù)庫賬號密碼，以及SMTP信息

4、配置：big-whale.properties

配置項說明

ssh.user: 擁有腳本執(zhí)行權(quán)限的ssh遠(yuǎn)程登錄用戶名（平臺會將該用戶作為統(tǒng)一的腳本執(zhí)行用戶）

ssh.password: ssh遠(yuǎn)程登錄用戶密碼

dingding.enabled: 是否開啟釘釘告警

dingding.watcher-token: 釘釘公共群機器人Token

yarn.app-memory-threshold: Yarn應(yīng)用內(nèi)存上限（單位：MB），-1禁用檢測

yarn.app-white-list: Yarn應(yīng)用白名單列表（列表中的應(yīng)用申請的內(nèi)存超過上限，不會進(jìn)行告警）

5、修改：$FLINK_HOME/bin/flink，參考：flink（因flink提交任務(wù)時只能讀取本地jar包，故需要在執(zhí)行提交命令時從hdfs上下載jar包并替換腳本中的jar包路徑參數(shù)）

6、打包：mvn clean package

啟動：

1、檢查端口17070是否被占用，被占用的話，關(guān)閉占用的進(jìn)程或修改項目端口號配置重新打包

2、拷貝target目錄下的big-whale.jar，執(zhí)行命令：java -jar big-whale.jar

初始配置

1、打開：http://localhost:17070

2、輸入賬號admin，密碼admin

3、點擊：權(quán)限管理->用戶管理，修改當(dāng)前賬號的郵箱為合法且存在的郵箱地址，否則會導(dǎo)致郵件發(fā)送失敗

4、添加集群

集群管理->集群管理->新增

“yarn管理地址”為Yarn ResourceManager的WEB UI地址

“程序包存儲目錄”為程序包上傳至hdfs集群時的存儲路徑，如：/data/big-whale/storage

“支持Flink任務(wù)代理用戶”“流處理任務(wù)黑名單”和“批處理任務(wù)黑名單”為內(nèi)部定制的任務(wù)分配規(guī)則，勿填

5、添加代理

集群管理->代理管理->新增

可添加多個實例（僅支持IP地址，可指定端口號，默認(rèn)為22），執(zhí)行腳本的時候會隨機選擇一個實例執(zhí)行，在實例不可達(dá)的情況下，會繼續(xù)隨機選擇下一個實例，在實例均不可達(dá)時執(zhí)行失敗

選擇集群后，會作為該集群下提交Spark或Flink任務(wù)的代理之一

6、添加集群用戶

集群管理->集群用戶->新增

該配置的語義為：平臺用戶在所選集群下可以使用的Yarn資源隊列（--queue）和代理用戶（--proxy-user）

7、添加計算框架版本

集群管理->版本管理->新增

同一集群下不同版本的Spark或Flink任務(wù)的提交命令可能有所不同，如Spark 1.6.0版本的提交命令為spark-submit，Spark 2.1.0版本的提交命令為spark2-submit

v1.3

更新內(nèi)容

權(quán)限驗證漏洞FIX