ol7.7安裝部署4節(jié)點spark3.0.0分布式集群的詳細教程
為學(xué)習(xí)spark，虛擬機中開4臺虛擬機安裝spark3.0.0
底層hadoop集群已經(jīng)安裝好，見ol7.7安裝部署4節(jié)點hadoop 3.2.1分布式集群學(xué)習(xí)環(huán)境
首先，去http://spark.apache.org/downloads.html下載對應(yīng)安裝包
解壓
[hadoop@master ~]$ sudo tar -zxf spark-3.0.0-bin-without-hadoop.tgz -C /usr/local [hadoop@master ~]$ cd /usr/local [hadoop@master /usr/local]$ sudo mv ./spark-3.0.0-bin-without-hadoop/ spark [hadoop@master /usr/local]$ sudo chown -R hadoop: ./spark
四個節(jié)點都添加環(huán)境變量
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
配置spark
spark目錄中的conf目錄下cp ./conf/spark-env.sh.template ./conf/spark-env.sh后面添加
export SPARK_MASTER_IP=192.168.168.11 export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_LOCAL_DIRS=/usr/local/hadoop export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
然后配置work節(jié)點，cp ./conf/slaves.template ./conf/slaves修改為
master
slave1
slave2
slave3
寫死JAVA_HOME，sbin/spark-config.sh最后添加
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
復(fù)制spark目錄到其他節(jié)點
sudo scp -r /usr/local/spark/ slave1:/usr/local/ sudo scp -r /usr/local/spark/ slave2:/usr/local/ sudo scp -r /usr/local/spark/ slave3:/usr/local/ sudo chown -R hadoop ./spark/
...
啟動集群
先啟動hadoop集群/usr/local/hadoop/sbin/start-all.sh
然后啟動spark集群
通過master8080端口監(jiān)控
完成安裝
到此這篇關(guān)于ol7.7安裝部署4節(jié)點spark3.0.0分布式集群的詳細教程的文章就介紹到這了,更多相關(guān)ol7.7安裝部署spark集群內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了OAuth 2.0授權(quán)協(xié)議詳解,本文對OAuth協(xié)議做了詳解講解,對OAuth協(xié)議的各個方面做了分解,讀完本文你就會知道到底啥是OAuth了,需要的朋友可以參考下2014-09-09
Win10中Dreamweaver等軟件界面字太小的問題解決
最近發(fā)現(xiàn)Win10系統(tǒng)中Dreamweaver等軟件界面字太小,所以下面這篇文章主要給大家介紹了關(guān)于Win10中Dreamweaver等軟件界面字太小的問題解決辦法,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2007-10-10
AERGO SHIP：用于開發(fā)智能合約的包管理器，用于構(gòu)建、測試和部署分布式應(yīng)用程序的客戶端框架和開發(fā)環(huán)境2018-11-11
Deepseek R1模型本地化部署+API接口調(diào)用詳細教程(釋放AI生產(chǎn)力)
本文介紹了本地部署DeepSeekR1模型和通過API調(diào)用將其集成到VSCode中的過程,作者詳細步驟展示了如何下載和部署DeepSeekR1模型,并提供了解決下載問題的建議,最后,作者解釋了如何在VSCode中使用Cline插件調(diào)用DeepSeekAPI,以實現(xiàn)智能編碼輔助,感興趣的朋友一起看看吧2025-02-02
解決使用IDE Run運行出錯package pack/test is not in GOROOT (/usr/loca
這篇文章主要介紹了解決使用IDE Run運行出錯package pack/test is not in GOROOT (/usr/local/go/src/pack/test),本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
多種語言下獲取當(dāng)前頁完整URL及其參數(shù)
多種語言下獲取當(dāng)前頁完整URL及其參數(shù)...2007-04-04
這篇文章主要介紹了Flyway數(shù)據(jù)庫版本控制的教程，本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友參考下吧2015-07-07
這篇文章主要介紹了ToDesk安裝與使用教程,ToDesk非常好用而且是全平臺支持,喜歡的朋友跟隨小編一起看看吧2024-08-08
2019-nCoV 全國新型肺炎疫情每日動態(tài)趨勢可視圖
大家被新型冠狀病毒搞的人心慌慌，每天宅在家里那也去不了，今天小編給大家分享2019-nCoV 全國新型肺炎疫情每日動態(tài)趨勢可視圖，需要的朋友可以參考下2020-02-02
resty更新header控制api版本數(shù)據(jù)源讀寫分離
這篇文章主要介紹了resty的1.2.0-SNAPSHOT版本更新，可以通過header控制api的版本實現(xiàn)數(shù)據(jù)源讀寫分離，有需要的朋友可以借鑒參考下，希望能夠有所幫助<BR>，2022-03-03