2018即將推出的Apache Spark 2.4都有哪些新功能
更新時(shí)間：2018年09月29日 10:12:43 作者：青色的海牛
即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個(gè)版本。 本文對(duì)Apache Spark 2.4 的主要功能和增強(qiáng)功能進(jìn)行了概述,需要的朋友可以參考下
本文來(lái)自于2018年09月19日在 Adobe Systems Inc 舉行的Apache Spark Meetup。
即將發(fā)布的 Apache Spark 2.4 版本是 2.x 系列的第五個(gè)版本。 本文對(duì)Apache Spark 2.4 的主要功能和增強(qiáng)功能進(jìn)行了概述。
- 新的調(diào)度模型（Barrier Scheduling），使用戶能夠?qū)⒎植际缴疃葘W(xué)習(xí)訓(xùn)練恰當(dāng)?shù)厍度氲?Spark 的 stage 中，以簡(jiǎn)化分布式訓(xùn)練工作流程。
- 添加了35個(gè)高階函數(shù)，用于在 Spark SQL 中操作數(shù)組/map。
- 新增一個(gè)新的基于 Databricks 的 spark-avro 模塊的原生 AVRO 數(shù)據(jù)源。
- PySpark 還為教學(xué)和可調(diào)試性的所有操作引入了熱切的評(píng)估模式（eager evaluation mode）。
- Spark on K8S 支持 PySpark 和 R ，支持客戶端模式（client-mode）。
- Structured Streaming 的各種增強(qiáng)功能。 例如，連續(xù)處理（continuous processing）中的有狀態(tài)操作符。
- 內(nèi)置數(shù)據(jù)源的各種性能改進(jìn)。 例如，Parquet 嵌套模式修剪（schema pruning）。
- 支持 Scala 2.12。
點(diǎn)擊 示說(shuō)網(wǎng) ，即可下載此PPT。
總結(jié)
以上所述是小編給大家介紹的2018即將推出的Apache Spark 2.4都有哪些新功能，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
perf是Linux下的一款性能分析工具,能夠進(jìn)行函數(shù)級(jí)與指令級(jí)的熱點(diǎn)查找,它由一個(gè)叫“Performance counters“的內(nèi)核子系統(tǒng)實(shí)現(xiàn),基于事件采樣原理,支持針對(duì)處理器相關(guān)性能指標(biāo)與操作系統(tǒng)相關(guān)性能指標(biāo)的性能剖析,本文介紹了Linux使用perf分析CPU占用情況的方法步驟2024-05-05
文章內(nèi)容總結(jié)：本文詳細(xì)介紹了在Linux服務(wù)器上安裝Java的步驟,包括下載JDK、上傳服務(wù)器、解壓縮、配置環(huán)境變量等,并提供了一個(gè)簡(jiǎn)單的命令來(lái)驗(yàn)證安裝是否成功,希望本文能為讀者提供有用的參考2024-11-11
這篇文章主要介紹了linux中安裝deb軟件包實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
Nginx出現(xiàn)500 Internal Server Error 錯(cuò)誤的解決方案
這篇文章主要介紹了Nginx出現(xiàn)500 Internal Server Error 錯(cuò)誤的解決方案，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
linux系統(tǒng)下如何掛載NTFS移動(dòng)硬盤(pán)
用命令行掛載移動(dòng)硬盤(pán)是Linux的基本操作之一，雖然目前有些Linux系統(tǒng)能自動(dòng)加載移動(dòng)硬盤(pán)，但有些時(shí)候（比如使用Ubuntu Server或其它Linux系統(tǒng)的時(shí)候）仍然需要手動(dòng)操作，下面這篇文章主要介紹了linux系統(tǒng)下如何掛載NTFS移動(dòng)硬盤(pán),需要的朋友可以參考借鑒。2017-01-01
ubuntu服務(wù)器環(huán)境下安裝python的方法
這篇文章主要介紹了ubuntu服務(wù)器環(huán)境下安裝python的方法,簡(jiǎn)單分析了Ubuntu環(huán)境下安裝Python的相關(guān)步驟、命令、與操作注意事項(xiàng),需要的朋友可以參考下2018-03-03
本文總結(jié)了一些查看Linux系統(tǒng)信息的常用命令,使用這些命令可以看系統(tǒng)信息、資源使用情況、網(wǎng)絡(luò)信息、磁盤(pán)使用狀況、進(jìn)程狀態(tài)等,需要的朋友可以參考下2014-03-03
這篇文章主要介紹了Linux輸入子系統(tǒng)框架原理解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09
這篇文章主要介紹了使ApacheBench支持multi-url的方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01
在Linux系統(tǒng)上安裝Spring boot應(yīng)用的教程詳解
這篇文章主要介紹了在Linux系統(tǒng)上安裝Spring boot應(yīng)用，本文通過(guò)實(shí)例文字相結(jié)合的形式給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下2019-05-05