pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解
更新時(shí)間：2020年02月18日 08:43:34 投稿：yaominghui
這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實(shí)例詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
from pyspark.sql import SparkSession # 初始化spark會話 spark = SparkSession \ .builder \ .getOrCreate() spark_df = spark.createDataFrame(pandas_df)
spark的dataframe轉(zhuǎn)pandas的dataframe
import pandas as pd pandas_df = spark_df.toPandas()
由于pandas的方式是單機(jī)版的，即toPandas()的方式是單機(jī)版的，所以參考breeze_lsw改成分布式版本：
import pandas as pd def _map_to_pandas(rdds): return [pd.DataFrame(list(rdds))] def topas(df, n_partitions=None): if n_partitions is not None: df = df.repartition(n_partitions) df_pand = df.rdd.mapPartitions(_map_to_pandas).collect() df_pand = pd.concat(df_pand) df_pand.columns = df.columns return df_pand pandas_df = topas(spark_df)
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
f-string采用 {content:format} 設(shè)置字符串格式，其中content是替換并填入字符串的內(nèi)容，可以是變量、表達(dá)式或函數(shù)等，format 是格式描述符，這篇文章主要介紹了python使用?f?格式化字符串,需要的朋友可以參考下2022-12-12
Appium中scroll和drag_and_drop根據(jù)元素位置滑動
本文主要介紹了Appium中scroll和drag_and_drop根據(jù)元素位置滑動，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-02-02
這篇文章主要介紹了python對指定字符串逆序的6種方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
解決json.decoder.JSONDecodeError: Expecting value:&n
這篇文章主要介紹了解決json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)錯(cuò)誤,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-04-04
這篇文章主要介紹了Python開啟線程和線程池的方法，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2024-03-03
Python使用try-except捕獲與處理異常的實(shí)現(xiàn)方法
在Python中,try-except 語句是用于捕獲和處理異常的主要工具,當(dāng)程序運(yùn)行過程中發(fā)生錯(cuò)誤時(shí),try-except 結(jié)構(gòu)可以有效地防止程序崩潰,并允許開發(fā)者為錯(cuò)誤提供適當(dāng)?shù)慕鉀Q方案,接下來,我們將詳細(xì)探討 try-except 的使用方式,需要的朋友可以參考下2024-11-11
Python基于PyGraphics包實(shí)現(xiàn)圖片截取功能的方法
這篇文章主要介紹了Python基于PyGraphics包實(shí)現(xiàn)圖片截取功能的方法,涉及PyGraphics包的安裝及基于PyGraphics包實(shí)現(xiàn)圖片的打開、讀取、截取等相關(guān)操作技巧,需要的朋友可以參考下2017-12-12
python目標(biāo)檢測數(shù)據(jù)增強(qiáng)的代碼參數(shù)解讀及應(yīng)用
這篇文章主要為大家介紹了python目標(biāo)檢測數(shù)據(jù)增強(qiáng)的代碼參數(shù)解讀及應(yīng)用，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
python入門課程第一講之安裝與優(yōu)缺點(diǎn)介紹
這篇文章主要介紹了python入門課程第一講之安裝與優(yōu)缺點(diǎn)，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-09-09
Python中如何將Tqdm與Asyncio結(jié)合使用呢
這篇文章主要和大家詳細(xì)介紹了在Python中如何將Tqdm與Asyncio結(jié)合使用呢，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-05-05