Spark整合Mongodb的方法
Spark介紹
按照官方的定義，Spark 是一個通用，快速，適用于大規(guī)模數(shù)據(jù)的處理引擎。
通用性：我們可以使用Spark SQL來執(zhí)行常規(guī)分析， Spark Streaming 來流數(shù)據(jù)處理， 以及用Mlib來執(zhí)行機器學習等。Java，python，scala及R語言的支持也是其通用性的表現(xiàn)之一。
快速： 這個可能是Spark成功的最初原因之一，主要歸功于其基于內(nèi)存的運算方式。當需要處理的數(shù)據(jù)需要反復迭代時，Spark可以直接在內(nèi)存中暫存數(shù)據(jù)，而無需像Map Reduce一樣需要把數(shù)據(jù)寫回磁盤。官方的數(shù)據(jù)表明：它可以比傳統(tǒng)的Map Reduce快上100倍。
大規(guī)模：原生支持HDFS，并且其計算節(jié)點支持彈性擴展，利用大量廉價計算資源并發(fā)的特點來支持大規(guī)模數(shù)據(jù)處理。
環(huán)境準備
mongodb下載
解壓安裝
啟動mongodb服務
$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log
pom依賴
<dependency>
<groupId>org.mongodb.spark</groupId>
<artifactId>mongo-spark-connector_2.11</artifactId>
<version>${spark.version}</version>
</dependency>
實例代碼
object ConnAppTest {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.master("local[2]")
.appName("ConnAppTest")
.config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb輸入
.config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb輸出
.getOrCreate()
// 生成測試數(shù)據(jù)
val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}")))
// 存儲數(shù)據(jù)到mongodb
MongoSpark.save(documents)
// 加載數(shù)據(jù)
val rdd = MongoSpark.load(spark)
// 打印輸出
rdd.show
}
}
總結(jié)
以上所述是小編給大家介紹的Spark整合Mongodb的方法，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關(guān)文章
這篇文章主要介紹了MongoDB教程之索引介紹,本文講解了索引基礎(chǔ)、唯一索引、使用explain、索引管理等內(nèi)容,需要的朋友可以參考下2015-05-05
Mongodb 利用mongoshell進行數(shù)據(jù)類型轉(zhuǎn)換的實現(xiàn)方法
下面小編就為大家分享一篇Mongodb 利用mongoshell進行數(shù)據(jù)類型轉(zhuǎn)換的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2017-12-12
老生常談MongoDB數(shù)據(jù)庫基礎(chǔ)操作
下面小編就為大家?guī)硪黄仙Ｕ凪ongoDB數(shù)據(jù)庫基礎(chǔ)操作。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-07-07
這篇文章主要給大家介紹了關(guān)于MongoDB數(shù)據(jù)庫日志的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家學習或者使用MongoDB具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2018-09-09
這篇文章主要介紹了如何為MongoDB添加分片副本集，幫助大家更好的理解和學習使用MongoDB數(shù)據(jù)庫，感興趣的朋友可以了解下2021-03-03
MongoDB開源數(shù)據(jù)庫開發(fā)工具dbKoda
這篇文章主要介紹了MongoDB開源數(shù)據(jù)庫開發(fā)工具dbKoda的相關(guān)資料,需要的朋友可以參考下2017-09-09
本文主要介紹了MongoDB的基本知識和操作,MongoDB是一種面向文檔的無結(jié)構(gòu)化數(shù)據(jù)庫系統(tǒng),具有靈活性、可擴展性和高性能等優(yōu)點,安裝和配置MongoDB也非常簡單,使用MongoDB的API進行操作也非常方便,在實際使用中,MongoDB可以作為常規(guī)數(shù)據(jù)存儲或NoSQL解決方案的替代品2024-01-01
mongodb root用戶創(chuàng)建數(shù)據(jù)庫提示not master的解決
這篇文章主要介紹了mongodb root用戶創(chuàng)建數(shù)據(jù)庫提示not master的解決方案，具有很好的參考價值，希望對大家有所幫助。2023-02-02
MongoDB 是一個基于分布式文件存儲的數(shù)據(jù)庫。接下來通過本文給大家介紹MongoDB 學習筆記(一)MongoDB配置的相關(guān)資料,需要的朋友可以參考下2016-05-05
這篇文章主要介紹了MongoDB系列教程（二）：MongoDB簡介,本文講解了MongoDB介紹、MongoDB功能特性、mongoDB數(shù)據(jù)架構(gòu)等內(nèi)容,需要的朋友可以參考下2015-05-05