快捷導(dǎo)航

Pandas DataFrame數(shù)據(jù)存儲(chǔ)格式比較分析

更新時(shí)間：2023年09月05日 16:16:11 作者：deephub

Pandas 支持多種存儲(chǔ)格式,在本文中將對(duì)不同類型存儲(chǔ)格式下的Pandas Dataframe的讀取速度、寫入速度和大小的進(jìn)行測(cè)試對(duì)比,有需要的朋友可以借鑒參考下,希望能夠有所幫助

創(chuàng)建測(cè)試Dataframe

首先創(chuàng)建一個(gè)包含不同類型數(shù)據(jù)的測(cè)試Pandas Dataframe。

import pandas as pd
 import random
 import string
 import numpy as np
 # Config DF
 df_length= 10**6
 start_date= '2023-01-01'
 all_string= list(string.ascii_letters + string.digits)
 string_length= 10**1
 min_number= 0
 max_number= 10**3
 # Create Columns
 date_col= pd.date_range(start= start_date, periods= df_length, freq= 'H')
 str_col= [''.join(np.random.choice(all_string, string_length)) for i in range(df_length)]
 float_col= np.random.rand(df_length)
 int_col= np.random.randint(min_number,max_number, size = df_length)
 # Create DataFrame
 df= pd.DataFrame({'date_col' : date_col, 
                   'str_col' : str_col, 
                   'float_col' : float_col, 
                   'int_col' : int_col})
 df.info()
 df.head()

以不同的格式存儲(chǔ)

接下來(lái)創(chuàng)建測(cè)試函數(shù)，以不同的格式進(jìn)行讀寫。

import time 
 import os
 def check_read_write_size(df, file_name, compression= None) :
     format= file_name.split('.')[-1]
     # Write
     begin= time.time()
     if file_name.endswith('.csv') : df.to_csv(file_name, index= False, compression= compression)
     elif file_name.endswith('.parquet') : df.to_parquet(file_name, compression= compression)
     elif file_name.endswith('.pickle') : df.to_pickle(file_name, compression= compression)
     elif file_name.endswith('.orc') : df.to_orc(file_name)
     elif file_name.endswith('.feather') : df.to_feather(file_name)
     elif file_name.endswith('.h5') : df.to_hdf(file_name, key= 'df')
     write_time= time.time() - begin
     # Read
     begin= time.time()
     if file_name.endswith('.csv') : pd.read_csv(file_name, compression= compression)
     elif file_name.endswith('.parquet') : pd.read_parquet(file_name)
     elif file_name.endswith('.pickle') : pd.read_pickle(file_name, compression= compression)
     elif file_name.endswith('.orc') : pd.read_orc(file_name)
     elif file_name.endswith('.h5') : pd.read_hdf(file_name)
     read_time= time.time() - begin
     # File Size
     file_size_mb = os.path.getsize(file_name) / (1024 * 1024)
     return [format, compression, read_time, write_time, file_size_mb]

然后運(yùn)行該函數(shù)并將結(jié)果存儲(chǔ)在另一個(gè)Pandas Dataframe中。

test_case= [
             ['df.csv','infer'],
             ['df.csv','gzip'],
             ['df.pickle','infer'],
             ['df.pickle','gzip'],
             ['df.parquet','snappy'],
             ['df.parquet','gzip'],
             ['df.orc','default'],
             ['df.feather','default'],
             ['df.h5','default'],
             ]
 
 result= []
 for i in test_case :
     result.append(check_read_write_size(df, i[0], compression= i[1]))
 
 result_df= pd.DataFrame(result, columns= ['format','compression','read_time','write_time','file_size'])
 result_df

測(cè)試結(jié)果

下面的圖表和表格是測(cè)試的結(jié)果。

分析

我們對(duì)測(cè)試的結(jié)果做一個(gè)簡(jiǎn)單的分析

CSV

未壓縮文件的大小最大
壓縮后的尺寸很小，但不是最小的
CSV的讀取速度和寫入速度是最慢的

Pickle

表現(xiàn)得很平均
但壓縮寫入速度是最慢的

Feather

最快的讀寫速度，文件的大小也是中等，非常的平均

ORC

所有格式中最小的
讀寫速度非?？欤瑤缀跏亲羁斓?/li>

Parquet

總的來(lái)說(shuō)，快速并且非常小，但是并不是最快也不是最小的

總結(jié)

從結(jié)果來(lái)看，我們應(yīng)該使用ORC或Feather，而不再使用CSV ?是嗎？

“這取決于你的系統(tǒng)。”

如果你正在做一些單獨(dú)的項(xiàng)目，那么使用最快或最小的格式肯定是有意義的。

但大多數(shù)時(shí)候，我們必須與他人合作。所以，除了速度和大小，還有更多的因素。

未壓縮的CSV可能很慢，而且最大，但是當(dāng)需要將數(shù)據(jù)發(fā)送到另一個(gè)系統(tǒng)時(shí)，它非常容易。

ORC作為傳統(tǒng)的大數(shù)據(jù)處理格式（來(lái)自Hive）對(duì)于速度的和大小的優(yōu)化是做的最好的，Parquet比ORC更大、更慢，但是它卻是在速度和大小中取得了最佳的平衡，并且支持他的生態(tài)也多，所以在需要處理大文件的時(shí)候可以優(yōu)先選擇Parquet。

以上就是Pandas DataFrame數(shù)據(jù)存儲(chǔ)格式比較分析的詳細(xì)內(nèi)容，更多關(guān)于Pandas DataFrame數(shù)據(jù)存儲(chǔ)格式的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: