pandas.DataFrame的pivot()和unstack()實現(xiàn)行轉(zhuǎn)列

更新時間：2019年07月06日 11:43:23 作者：Leohahah

這篇文章主要介紹了pandas.DataFrame的pivot()和unstack()實現(xiàn)行轉(zhuǎn)列，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

示例：有如下表需要進行行轉(zhuǎn)列：

代碼如下：

# -*- coding:utf-8 -*-

import pandas as pd

import MySQLdb

from warnings import filterwarnings

# 由于create table if not exists總會拋出warning，因此使用filterwarnings消除

filterwarnings('ignore', category = MySQLdb.Warning)

from sqlalchemy import create_engine

import sys

if sys.version_info.major<3:

 reload(sys)

 sys.setdefaultencoding("utf-8")

 # 此腳本適用于python2和python3

host,port,user,passwd,db,charset="192.168.1.193",3306,"leo","mysql","test","utf8"

 

def get_df():

 global host,port,user,passwd,db,charset

 conn_config={"host":host, "port":port, "user":user, "passwd":passwd, "db":db,"charset":charset}

 conn = MySQLdb.connect(**conn_config)

 result_df=pd.read_sql('select UserName,Subject,Score from TEST',conn)

 return result_df

 

def pivot(result_df):

 df_pivoted_init=result_df.pivot('UserName','Subject','Score')

 df_pivoted = df_pivoted_init.reset_index() # 將行索引也作為DataFrame值的一部分，以方便存儲數(shù)據(jù)庫

 return df_pivoted_init,df_pivoted

 # 返回的兩個DataFrame，一個是以姓名作index的，一個是以數(shù)字序列作index，前者用于unpivot，后者用于save_to_mysql

 

def unpivot(df_pivoted_init):

 # unpivot需要進行df_pivoted_init二維表格的行、列索引遍歷，需要拼SQL因此不能使用save_to_mysql存數(shù)據(jù)，這里使用SQL和MySQLdb接口存

 insert_sql="insert into test_unpivot(UserName,Subject,Score) values "

 # 處理值為NaN的情況

 df_pivoted_init=df_pivoted_init.fillna(0)

 for col in df_pivoted_init.columns:

  for index in df_pivoted_init.index:

   value=df_pivoted_init.at[index,col]

   if value!=0:

    insert_sql=insert_sql+"('%s','%s',%s)" %(index,col,value)+','

 insert_sql = insert_sql.strip(',')

 global host, port, user, passwd, db, charset

 conn_config = {"host": host, "port": port, "user": user, "passwd": passwd, "db": db, "charset": charset}

 conn = MySQLdb.connect(**conn_config)

 cur=conn.cursor()

 cur.execute("create table if not exists test_unpivot like TEST")

 cur.execute(insert_sql)

 conn.commit()

 conn.close()

 

def save_to_mysql(df_pivoted,tablename):

 global host, port, user, passwd, db, charset

 """

 只有使用sqllite時才能指定con=connection實例，其他數(shù)據(jù)庫需要使用sqlalchemy生成engine，engine的定義可以添加?來設置字符集和其他屬性

 """

 conn="mysql://%s:%s@%s:%d/%s?charset=%s" %(user,passwd,host,port,db,charset)

 mysql_engine = create_engine(conn)

 df_pivoted.to_sql(name=tablename, con=mysql_engine, if_exists='replace', index=False)

 

# 從TEST表讀取源數(shù)據(jù)至DataFrame結(jié)構(gòu)

result_df=get_df()

# 將源數(shù)據(jù)行轉(zhuǎn)列為二維表格形式

df_pivoted_init,df_pivoted=pivot(result_df)

# 將二維表格形式的數(shù)據(jù)存到新表test中

save_to_mysql(df_pivoted,'test')

# 將被行轉(zhuǎn)列的數(shù)據(jù)unpivot，存入test_unpivot表中

unpivot(df_pivoted_init)

結(jié)果如下：

關(guān)于Pandas DataFrame類自帶的pivot方法：

DataFrame.pivot(index=None, columns=None, values=None)：

Return reshaped DataFrame organized by given index / column values.

這里只有3個參數(shù)，是因為pivot之后的結(jié)果一定是二維表格，只需要行列及其對應的值，而且也因為是二維表格，unpivot之后is_pass列是肯定會丟失的，因此一開始我就沒查這個列。

補充說明：

在學習到Pandas的層次化索引部分時發(fā)現(xiàn)了2個很有意思的函數(shù)，也可以進行行列互轉(zhuǎn)，其用法如下：(很久之后我才意識到，pivot只是封裝了unstack的一個快捷方式而已，其本質(zhì)上還是先用set_index建立層次化索引，然后用unstack進行重塑，就像我在下面示例做的操作)

# -*- coding:utf-8 -*-

import pandas as pd

import MySQLdb

from warnings import filterwarnings

# 由于create table if not exists總會拋出warning，因此使用filterwarnings消除

filterwarnings('ignore', category = MySQLdb.Warning)

from sqlalchemy import create_engine

import sys

if sys.version_info.major<3:

 reload(sys)

 sys.setdefaultencoding("utf-8")

 # 此腳本適用于python2和python3

host,port,user,passwd,db,charset="192.168.1.193",3306,"leo","mysql","test","utf8"

 

def get_df():

 global host,port,user,passwd,db,charset

 conn_config={"host":host, "port":port, "user":user, "passwd":passwd, "db":db,"charset":charset}

 conn = MySQLdb.connect(**conn_config)

 result_df=pd.read_sql('select UserName,Subject,Score from TEST',conn)

 return result_df

 

def pivot(result_df):

 df_pivoted_init=result_df.pivot('UserName','Subject','Score')

 df_pivoted = df_pivoted_init.reset_index() # 將行索引也作為DataFrame值的一部分，以方便存儲數(shù)據(jù)庫

 return df_pivoted_init,df_pivoted

 # 返回的兩個DataFrame，一個是以姓名作index的，一個是以數(shù)字序列作index，前者用于unpivot，后者用于save_to_mysql

 

def unpivot(df_pivoted_init):

 # unpivot需要進行df_pivoted_init二維表格的行、列索引遍歷，需要拼SQL因此不能使用save_to_mysql存數(shù)據(jù)，這里使用SQL和MySQLdb接口存

 insert_sql="insert into test_unpivot(UserName,Subject,Score) values "

 # 處理值為NaN的情況

 df_pivoted_init=df_pivoted_init.fillna(0)

 for col in df_pivoted_init.columns:

  for index in df_pivoted_init.index:

   value=df_pivoted_init.at[index,col]

   if value!=0:

    insert_sql=insert_sql+"('%s','%s',%s)" %(index,col,value)+','

 insert_sql = insert_sql.strip(',')

 global host, port, user, passwd, db, charset

 conn_config = {"host": host, "port": port, "user": user, "passwd": passwd, "db": db, "charset": charset}

 conn = MySQLdb.connect(**conn_config)

 cur=conn.cursor()

 cur.execute("create table if not exists test_unpivot like TEST")

 cur.execute(insert_sql)

 conn.commit()

 conn.close()

 

def save_to_mysql(df_pivoted,tablename):

 global host, port, user, passwd, db, charset

 """

 只有使用sqllite時才能指定con=connection實例，其他數(shù)據(jù)庫需要使用sqlalchemy生成engine，engine的定義可以添加?來設置字符集和其他屬性

 """

 conn="mysql://%s:%s@%s:%d/%s?charset=%s" %(user,passwd,host,port,db,charset)

 mysql_engine = create_engine(conn)

 df_pivoted.to_sql(name=tablename, con=mysql_engine, if_exists='replace', index=False)

 

# 從TEST表讀取源數(shù)據(jù)至DataFrame結(jié)構(gòu)

result_df=get_df()

# 將源數(shù)據(jù)行轉(zhuǎn)列為二維表格形式

df_pivoted_init,df_pivoted=pivot(result_df)

# 將二維表格形式的數(shù)據(jù)存到新表test中

save_to_mysql(df_pivoted,'test')

# 將被行轉(zhuǎn)列的數(shù)據(jù)unpivot，存入test_unpivot表中

unpivot(df_pivoted_init)

以上利用了Pandas的層次化索引，實際上這也是層次化索引一個主要的用途，結(jié)合本例我們可以把代碼改成如下：

result_df=pd.read_sql('select UserName,Subject,Score from TEST',conn)

# 在從數(shù)據(jù)庫中獲取的數(shù)據(jù)格式是這樣的：

    UserName Subject Score

0    張三   語文  80.0

1    張三   數(shù)學  90.0

2    張三   英語  70.0

3    張三   生物  85.0

4    李四   語文  80.0

5    李四   數(shù)學  92.0

6    李四   英語  76.0

7    王五   語文  60.0

8    王五   數(shù)學  82.0

9    王五   英語  96.0

10    王五   生物  78.0

# 如果要使用層次化索引，那么我們只需要把UserName和Subject列設置為層次化索引，Score為其對應的值即可，我們借用set_index()函數(shù)：

df=result_df.set_index(['UserName','Subject'])

In [112]: df.unstack()

Out[112]: 

     Score         

Subject   數(shù)學  生物  英語  語文

UserName            

張三    90.0 85.0 70.0 80.0

李四    92.0  NaN 76.0 80.0

王五    82.0 78.0 96.0 60.0

# 使用stack可以將unstack的結(jié)果轉(zhuǎn)回來，這樣就也在形式上實現(xiàn)了行列互轉(zhuǎn)，之后的操作基本一致了。

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python在PDF中添加或刪除超鏈接的操作
PDF文件現(xiàn)已成為文檔存儲和分發(fā)的首選格式,然而,PDF文件的靜態(tài)特性有時會限制其交互性,超鏈接是提高PDF文件互動性和用戶體驗的關(guān)鍵元素,本文將詳細介紹如何使用第三方庫Spire.PDF for Python來進行這些操作,需要的朋友可以參考下
2024-12-12
Django contenttypes 框架詳解(小結(jié))
這篇文章主要介紹了Django contenttypes 框架詳解(小結(jié))，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-08-08
這篇文章主要介紹了Python多重繼承的方法解析執(zhí)行順序,結(jié)合實例形式分析了Python多重繼承時存在方法命名沖突情況的解析執(zhí)行順序與相關(guān)原理,需要的朋友可以參考下
2018-05-05