Pyspark讀取parquet數(shù)據(jù)過程解析
parquet數(shù)據(jù)：列式存儲結(jié)構(gòu)，由Twitter和Cloudera合作開發(fā)，相比于行式存儲，其特點是：
可以跳過不符合條件的數(shù)據(jù)，只讀取需要的數(shù)據(jù)，降低IO數(shù)據(jù)量；壓縮編碼可以降低磁盤存儲空間，使用更高效的壓縮編碼節(jié)約存儲空間；只讀取需要的列，支持向量運算，能夠獲取更好的掃描性能。
那么我們怎么在pyspark中讀取和使用parquet數(shù)據(jù)呢？我以local模式，linux下的pycharm執(zhí)行作說明。
首先，導(dǎo)入庫文件和配置環(huán)境：
import os
from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession
os.environ["PYSPARK_PYTHON"]="/usr/bin/python3" #多個python版本時需要指定
conf = SparkConf().setAppName('test_parquet')
sc = SparkContext('local', 'test', conf=conf)
spark = SparkSession(sc)
然后，使用spark進(jìn)行讀取，得到DataFrame格式的數(shù)據(jù)：host:port 屬于主機和端口號
parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet"
df = spark.read.parquet(parquetFile)
而，DataFrame格式數(shù)據(jù)有一些方法可以使用，例如：
1.df.first() ：顯示第一條數(shù)據(jù)，Row格式
print(df.first())
2.df.columns：列名
3.df.count()：數(shù)據(jù)量，數(shù)據(jù)條數(shù)
4.df.toPandas()：從spark的DataFrame格式數(shù)據(jù)轉(zhuǎn)到Pandas數(shù)據(jù)結(jié)構(gòu)
5.df.show()：直接顯示表數(shù)據(jù)；其中df.show(n) 表示只顯示前n行信息
6.type(df)：顯數(shù)據(jù)示格式
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python gdal安裝與簡單使用，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-08-08
這篇文章主要介紹了python檢測遠(yuǎn)程udp端口是否打開的方法,涉及Python操作socket實現(xiàn)檢測udp端口的技巧,需要的朋友可以參考下2015-03-03
這篇文章主要介紹了python機器學(xué)習(xí)之線性回歸詳解,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們有很好的幫助,需要的朋友可以參考下2021-04-04
在本篇文章里小編給大家整理了關(guān)于python實現(xiàn)從ftp上下載文件的實例方法，需要的朋友們可以參考下。2020-07-07
下面小編就為大家?guī)硪黄獪\談scrapy 的基本命令介紹。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-06-06
解決python多行注釋引發(fā)縮進(jìn)錯誤的問題
今天小編就為大家分享一篇解決python多行注釋引發(fā)縮進(jìn)錯誤的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了python數(shù)組過濾實現(xiàn)方法,涉及Python針對數(shù)組的相關(guān)操作技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Python Tkinter圖形工具使用方法及實例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-06-06
關(guān)于類的定義2008-11-11
Python標(biāo)準(zhǔn)庫之urllib和urllib3的使用及說明
這篇文章主要介紹了Python標(biāo)準(zhǔn)庫之urllib和urllib3使用及說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12