pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例
更新時間：2018年08月02日 11:10:51 作者：birdlove1987
今天小編就為大家分享一篇pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
代碼如下，步驟流程在代碼注釋中可見：
# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
#初始化數(shù)據(jù)
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
#打印數(shù)據(jù)
print df
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
spark = SparkSession\
.builder\
.appName("testDataFrame")\
.getOrCreate()
sentenceData = spark.createDataFrame([
(0.0, "I like Spark"),
(1.0, "Pandas is useful"),
(2.0, "They are coded by Python ")
], ["label", "sentence"])
#顯示數(shù)據(jù)
sentenceData.select("label").show()
#spark.DataFrame 轉(zhuǎn)換成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
#顯示數(shù)據(jù)
spark_df.select("c1").show()
# pandas.DataFrame 轉(zhuǎn)換成 spark.DataFrame
pandas_df = sentenceData.toPandas()
#打印數(shù)據(jù)
print pandas_df
程序結(jié)果：
以上這篇pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python+Selenium實現(xiàn)無頭瀏覽器網(wǎng)頁截圖
這篇文章主要為大家詳細介紹了Python+Selenium實現(xiàn)無頭瀏覽器網(wǎng)頁截圖的相關(guān)知識,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2025-03-03
這篇文章主要給大家介紹了關(guān)于Python中asyncio模塊的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
Python日志打印里logging.getLogger源碼分析詳解
在本篇文章里小編給大家整理的是一篇關(guān)于Python logging.getLogger源碼分析的相關(guān)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。2021-01-01
Pandas:DataFrame對象的基礎(chǔ)操作方法
今天小編就為大家分享一篇Pandas:DataFrame對象的基礎(chǔ)操作方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Python?提供了?日期和時間模塊用來處理日期和時間，還可以用于格式化日期和時間等常見功能。這篇文章就來帶大家了解一下它的使用，需要的可以參考一下2023-02-02
這篇文章主要介紹了速記Python布爾值，具有一定參考價值，需要的朋友可以了解下。2017-11-11
在使用Python字典的過程中，如果沒有key就會自動報錯，這時就需要python中defaultdict函數(shù)發(fā)揮作用。defaultdict是Python內(nèi)建dict類的一個子類，功能與dict相同，但可以產(chǎn)生一個帶有默認值的dict，如果key不存在，就會返回默認值2022-10-10
使用Python和scikit-learn創(chuàng)建混淆矩陣的示例詳解
這篇文章主要介紹了使用Python和scikit-learn創(chuàng)建混淆矩陣的示例詳解,該示例包括生成數(shù)據(jù)集、為數(shù)據(jù)集選擇合適的機器學(xué)習(xí)模型、構(gòu)建、配置和訓(xùn)練它，最后解釋結(jié)果，即混淆矩陣，需要的朋友可以參考下2022-06-06
下面小編就為大家?guī)硪黄猵ython算法演練_One Rule 算法(詳解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
Python用selenium實現(xiàn)自動登錄和下單的項目實戰(zhàn)
本文主要介紹了Python用selenium實現(xiàn)自動登錄和下單的項目實戰(zhàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02