大數(shù)據(jù)spark3.5安裝部署之local模式詳解
spark，一個(gè)數(shù)據(jù)處理框架和計(jì)算引擎。
下載
local模式即本地模式，就是不需要任何其他節(jié)點(diǎn)資源就可以在本地執(zhí)行spark代碼的環(huán)境。用于練習(xí)演示。
上傳解壓
使用PortX將文件上傳至/opt
進(jìn)入/opt目錄，創(chuàng)建目錄module，解壓文件至/opt/module
進(jìn)入module，并修改名稱
配置jdk
啟動(dòng)spark前要安裝jdk，上傳jdk文件
解壓
tar zxvf jdk-8u271-linux-x64.tar.gz
配置環(huán)境變量
以root用戶配置環(huán)境變量
cd ~
保存后，以root用戶，執(zhí)行source .profle，使更改生效，并驗(yàn)證。
啟動(dòng)查看
進(jìn)入spark-local，執(zhí)行命令bin/spark-shell 啟動(dòng)spark，如下所示則成功啟動(dòng)
啟動(dòng)成功后，可以通過瀏覽器訪問WebUI監(jiān)控頁面
http://ip:4040
交互操作
使用命令行或者提交作業(yè)的方式，與spark進(jìn)行交互。
命令行
進(jìn)入spark目錄中的data文件夾，添加test.txt文件
vi test.txt
進(jìn)入spark-standalone/bin目錄，執(zhí)行./spark-shell，啟動(dòng)命令行，執(zhí)行以下內(nèi)容
sc.textFile("../data/test.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
退出Ctrl+c或者輸入:quit后回車
提交應(yīng)用
對(duì)于公司大數(shù)據(jù)的批量處理或周期性數(shù)據(jù)分析/處理任務(wù)，通常采用編寫好的Spark程序，并通過Spark-submit指令的方式提交給Spark集群進(jìn)行具體的任務(wù)計(jì)算。
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.5.5.jar \
10
備注：路徑等信息如下，示例代碼都位于spark目錄中。
到此這篇關(guān)于大數(shù)據(jù)spark3.5安裝部署之local模式詳解的文章就介紹到這了,更多相關(guān)spark安裝部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這幾天 CSDN 博客的代碼高亮功能突然不行了，而且論壇上有人提出 BUG，沒有得到回應(yīng)。2009-05-05
這篇文章主要介紹了什么是RPC及RPC?和?HTTP?對(duì)比分析,需要的朋友可以參考下2007-02-02
支付寶小程序向用戶發(fā)紅包的實(shí)現(xiàn)方法
這篇文章主要介紹了支付寶小程序向用戶發(fā)紅包的實(shí)現(xiàn)方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
這篇文章主要介紹了idea2021注冊碼永久激活（激活到2100年）,文中給大家提到了2020年最新JetBrains授權(quán)服務(wù)器-IntelliJ IDEA激活，需要的朋友可以參考下2020-01-01
這篇文章簡單介紹了消息交換模式RabbitMQ，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
網(wǎng)絡(luò)基礎(chǔ)-數(shù)據(jù)包
本文主要講解數(shù)據(jù)包在網(wǎng)絡(luò)中的生命履歷來引出一些網(wǎng)絡(luò)基礎(chǔ)知識(shí)，介紹的比較詳細(xì)，需要了解的小伙伴可以自己參考一下2021-08-08
這篇文章主要為大家介紹了git用戶自定義變量查看修改及調(diào)用教程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-04-04
如何使用cursor實(shí)現(xiàn)安裝windows工具
這篇文章給大家介紹如何使用cursor實(shí)現(xiàn)安裝windows工具,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2026-04-04
這篇文章主要介紹了好玩的vbs小程序之關(guān)機(jī)功能,非常有趣，感興趣的朋友跟隨小編一起看看吧2019-09-09
這篇文章介紹了如何在本地部署DeepSeek大型語言模型,并分享了遇到的問題和解決方法,感興趣的朋友一起看看吧2025-02-02