關(guān)于IDEA創(chuàng)建spark maven項(xiàng)目并連接遠(yuǎn)程spark集群?jiǎn)栴}
環(huán)境：
scala：2.12.10
spark：3.0.3
1、創(chuàng)建scala maven項(xiàng)目，如下圖所示：
2、
不同版本scala編譯參數(shù)可能略有不同，筆者使用的scala版本是2.12.10，scala-archetype-simple插件生成的pom文件
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.0</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
<configuration>
<args>
<arg>-make:transitive</arg>
<arg>-dependencyfile</arg>
<arg>${project.build.directory}/.scala_dependencies</arg>
</args>
</configuration>
</execution>
</executions>
</plugin>
要去除-make:transitive這個(gè)參數(shù)，否則會(huì)報(bào)錯(cuò)。
3、創(chuàng)建SparkPi Object類
object SparkPi {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder
.appName("Spark Pi")
.master("spark://172.21.212.114:7077")
.config("spark.jars","E:\\work\\polaris\\polaris-spark\\spark-scala\\target\\spark-scala-1.0.0.jar")
.config("spark.executor.memory","2g")
.config("spark.cores.max","2")
.config("spark.driver.host", "172.21.58.28")
.config("spark.driver.port", "9089")
.getOrCreate()
//spark = new SparkContext(conf).
val slices = if (args.length > 0) args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
val count = spark.sparkContext.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)
println(s"Pi is roughly ${4.0 * count / (n - 1)}")
spark.stop()
}
}
4、執(zhí)行打包命令：
5、點(diǎn)擊Idea Run執(zhí)行即可：
6、結(jié)果如下所示：
PS：
1、創(chuàng)建SparkSession時(shí)需要指定Idea所在機(jī)器ip地址，因?yàn)槟J(rèn)會(huì)把Spark Driver所在機(jī)器域名發(fā)送過(guò)去，導(dǎo)致無(wú)法解析（在spark 服務(wù)器上配置IDEA所在機(jī)器域名也可以，但是這樣太不靈活）
2、spark-3.0.3默認(rèn)使用的scala版本是2.12.10，所以要注意IDEA使用scala版本，否則會(huì)出現(xiàn)SerailizableId不一致的兼容問(wèn)題
到此這篇關(guān)于IDEA創(chuàng)建spark maven項(xiàng)目并連接遠(yuǎn)程spark集群的文章就介紹到這了,更多相關(guān)IDEA spark集群內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Java命令設(shè)計(jì)模式優(yōu)雅解耦命令和執(zhí)行提高代碼可維護(hù)性
本文介紹了Java命令設(shè)計(jì)模式，它將命令請(qǐng)求封裝成對(duì)象，以達(dá)到解耦命令請(qǐng)求和執(zhí)行者的目的，從而提高代碼可維護(hù)性。本文詳細(xì)闡述了該模式的設(shè)計(jì)原則、實(shí)現(xiàn)方法和優(yōu)缺點(diǎn)，并提供了實(shí)際應(yīng)用場(chǎng)景和代碼示例，幫助讀者深入理解和應(yīng)用該模式2023-04-04
Java與Scala創(chuàng)建List與Map的實(shí)現(xiàn)方式
這篇文章主要介紹了Java與Scala創(chuàng)建List與Map的實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-10-10
idea報(bào)錯(cuò):java程序包c(diǎn)om.github.xiaoymin.knife4j.spring.annotations
這篇文章主要介紹了idea報(bào)錯(cuò):java程序包c(diǎn)om.github.xiaoymin.knife4j.spring.annotations不存在問(wèn)題解決,需要的朋友可以參考下2023-06-06
這篇文章主要介紹了巧妙mybatis避免Where 空條件的尷尬，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-11-11
關(guān)于Java中@SuppressWarnings的正確使用方法
這篇文章主要介紹了關(guān)于Java中@SuppressWarnings的正確使用方法,@SuppressWarnings注解主要用在取消一些編譯器產(chǎn)生的警告對(duì)代碼左側(cè)行列的遮擋，有時(shí)候這會(huì)擋住我們斷點(diǎn)調(diào)試時(shí)打的斷點(diǎn),需要的朋友可以參考下2023-05-05
Java中的System類、BigInteger類和BigDecimal類詳解
這篇文章主要介紹了Java中的System類、BigInteger類和BigDecimal類詳解,arraycopy()方法,復(fù)制數(shù)組元素,比較適合底層調(diào)用,一般使用Arrays.copyOf()完成復(fù)制數(shù)組,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了mybatis plus in方法使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
這篇文章主要介紹了Java求兩集合中元素交集的四種方法對(duì)比總結(jié),四種求集合中元素交集的方法，按照在處理大量數(shù)據(jù)的效率來(lái)看，使用map集合的特性的方法效率最高，之后是使用Java流的方法，其次是使用for循環(huán)和迭代器的方法，需要的朋友可以參考下2023-05-05
Mybatis往Mapper.xml文件中傳遞多個(gè)參數(shù)問(wèn)題
這篇文章主要介紹了Mybatis往Mapper.xml文件中傳遞多個(gè)參數(shù)問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05
dom4j是一個(gè)開源的、基于Java的XML解析庫(kù),而在Java中使用dom4j庫(kù)解析XML是一種常見的方法,下面就跟隨小編一起來(lái)學(xué)習(xí)一下Java如何使用dom4j解析XML吧2024-12-12