深入解析pandas數(shù)據(jù)聚合和重組

更新時間：2023年04月20日 11:44:59 作者：西西弗斯推石頭

這篇文章主要介紹了pandas數(shù)據(jù)聚合和重組,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下

1GroupBy技術(shù)

1.1簡介

簡介：根據(jù)一個或多個鍵進(jìn)行分組，每一組應(yīng)用函數(shù)，再進(jìn)行合并

分組的鍵有多種形式：

列表或數(shù)組，長度與待分組的軸一樣
表示DataFrame某個列名的值
字典或Series，給出待分組軸上的值與分組名之間的對應(yīng)關(guān)系
函數(shù)，用于處理軸索引或索引中的各個標(biāo)簽

實例：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from pandas import Series,DataFrame
df =DataFrame({'key1':list('aabba'),'key2':['one','two','one','two','one'],\
 'data1':np.random.randn(5),'data2':np.random.randn(5)}) 
#根據(jù)key1進(jìn)行分組，并計算data1的均值。 
#注意下面的方式，取出來進(jìn)行分組，而不是在DataFrame中分組，這種方式很靈活 
#可以看到這是一個GroupBy對象,具備了應(yīng)用函數(shù)的基礎(chǔ) 
#這個過程是將Series進(jìn)行聚合，產(chǎn)生了新的Series 
grouped = df['data1'].groupby(df['key1']) 
print(grouped,'\n')

注：

取出來進(jìn)行分組，而不是在DataFrame中分組分組鍵中的缺失值被排除在外 1.2對分組進(jìn)行迭代

GroupBy對象支持迭代，可以產(chǎn)生一組二元元組（由分組名和數(shù)據(jù)塊組成）

groupby默認(rèn)在axis=0上進(jìn)行分組，但可以設(shè)置在任何軸上分組

1.3選取一個或一組列

對于由DataFrame產(chǎn)生的GroupBy對象，如果用一個或一組列名進(jìn)行索引，可實現(xiàn)選取部分列進(jìn)行聚合的目的，即下面語法效果相同。

1.4通過字典或Series進(jìn)行分組

假設(shè)已經(jīng)知道列的分組方式，現(xiàn)在需要利用這個信息進(jìn)行分組統(tǒng)計。

下面為groupby傳入一個已知信息的字典：

相當(dāng)于將每一個列重設(shè)名，再按新的名字進(jìn)行求和。

Series也有這樣的功能，被看作一個固定大小的映射，可以用Series作為分組鍵，pandas會自動檢查對齊。

1.5利用函數(shù)進(jìn)行分組

將函數(shù)、數(shù)組、字典、Series混用也ok，因為最終都會轉(zhuǎn)換為數(shù)組

2數(shù)據(jù)聚合

2.1簡介

簡介：

這里的數(shù)據(jù)聚合是說任何能夠從數(shù)組產(chǎn)生標(biāo)量值的過程常見的聚合運算都有就地計算數(shù)據(jù)集統(tǒng)計信息的優(yōu)化實現(xiàn)。當(dāng)然不止這些，可以用自己定義的運算，還可以調(diào)用分組對象上已經(jīng)定義好的任何方法。

例：quantile可計算Series或DataFrame列的樣本分位數(shù)。