Pandas導(dǎo)入

Pandas是Python第三方庫(kù)，提供高性能易用數(shù)據(jù)類(lèi)型和分析工具 Pandas基于NumPy實(shí)現(xiàn)，常與NumPy和Matplotlib一同使用 兩個(gè)數(shù)據(jù)類(lèi)型：Series, DataFrame

import pandas as pd

Pandas與numpy的比較

Pandas的Series類(lèi)型

由一組數(shù)據(jù)及與之相關(guān)的數(shù)據(jù)索引組成

Pandas的Series類(lèi)型的創(chuàng)建

Series類(lèi)型可以由如下類(lèi)型創(chuàng)建：

Python列表，index與列表元素個(gè)數(shù)一致 標(biāo)量值，index表達(dá)Series類(lèi)型的尺寸 Python字典，鍵值對(duì)中的“鍵”是索引，index從字典中進(jìn)行選擇操作 ndarray，索引和數(shù)據(jù)都可以通過(guò)ndarray類(lèi)型創(chuàng)建 其他函數(shù)，range()函數(shù)等

Pandas的Series類(lèi)型的基本操作

Series類(lèi)型包含index和values兩個(gè)部分：

index 獲得索引 values 獲得數(shù)據(jù)

由ndarray或字典創(chuàng)建的Series，操作類(lèi)似ndarray或字典類(lèi)型

pandas的DataFrame類(lèi)型

DataFrame類(lèi)型由共用相同索引的一組列組成

DataFrame是一個(gè)表格型的數(shù)據(jù)類(lèi)型，每列值類(lèi)型可以不同

DataFrame既有行索引、也有列索引

DataFrame常用于表達(dá)二維數(shù)據(jù)，但可以表達(dá)多維數(shù)據(jù)

DataFrame是二維帶“標(biāo)簽”數(shù)組

DataFrame基本操作類(lèi)似Series，依據(jù)行列索引

pandas的DataFrame類(lèi)型創(chuàng)建

DataFrame類(lèi)型可以由如下類(lèi)型創(chuàng)建：

二維ndarray對(duì)象 由一維ndarray、列表、字典、元組或Series構(gòu)成的字典 Series類(lèi)型 其他的DataFrame類(lèi)型

Pandas的Dataframe類(lèi)型的基本操作

pandas索引操作

pandas重新索引

reindex()能夠改變或重排Series和DataFrame索引

reindex(index=None, columns=None, …)的參數(shù)

pandas刪除索引

drop()能夠刪除Series和DataFrame指定行或列索引

pandas數(shù)據(jù)運(yùn)算

算術(shù)運(yùn)算根據(jù)行列索引，補(bǔ)齊后運(yùn)算，運(yùn)算默認(rèn)產(chǎn)生浮點(diǎn)數(shù) 補(bǔ)齊時(shí)缺項(xiàng)填充N(xiāo)aN (空值) 二維和一維、一維和零維間為廣播運(yùn)算 采用+ ‐ * /符號(hào)進(jìn)行的二元運(yùn)算產(chǎn)生新的對(duì)象

算術(shù)運(yùn)算

不同維度間為廣播運(yùn)算，一維Series默認(rèn)在軸1參與運(yùn)算 使用運(yùn)算方法可以令一維Series參與軸0運(yùn)算

Pandas數(shù)據(jù)分析

pandas導(dǎo)入與導(dǎo)出數(shù)據(jù)

導(dǎo)入數(shù)據(jù)

pd.read_csv(filename)：從CSV文件導(dǎo)入數(shù)據(jù)

pd.read_table(filename)：從限定分隔符的文本文件導(dǎo)入數(shù)據(jù)

pd.read_excel(filename)：從Excel文件導(dǎo)入數(shù)據(jù)

pd.read_sql(query, connection_object)：從SQL表/庫(kù)導(dǎo)入數(shù)據(jù)

pd.read_json(json_string)：從JSON格式的字符串導(dǎo)入數(shù)據(jù)

pd.read_html(url)：解析URL、字符串或者HTML文件，抽取其中的tables表格

pd.read_clipboard()：從你的粘貼板獲取內(nèi)容，并傳給read_table()

pd.DataFrame(dict)：從字典對(duì)象導(dǎo)入數(shù)據(jù)，Key是列名，Value是數(shù)據(jù)

導(dǎo)出數(shù)據(jù)

df.to_csv(filename)：導(dǎo)出數(shù)據(jù)到CSV文件

df.to_excel(filename)：導(dǎo)出數(shù)據(jù)到Excel文件

df.to_sql(table_name, connection_object)：導(dǎo)出數(shù)據(jù)到SQL表

df.to_json(filename)：以Json格式導(dǎo)出數(shù)據(jù)到文本文件

Pandas查看、檢查數(shù)據(jù)

df.head(n)：查看DataFrame對(duì)象的前n行

df.tail(n)：查看DataFrame對(duì)象的最后n行

df.shape()：查看行數(shù)和列數(shù)

http://df.info()：查看索引、數(shù)據(jù)類(lèi)型和內(nèi)存信息

df.describe()：查看數(shù)值型列的匯總統(tǒng)計(jì)

s.value_counts(dropna=False)：查看Series對(duì)象的唯一值和計(jì)數(shù)

df.apply(pd.Series.value_counts)：查看DataFrame對(duì)象中每一列的唯一值和計(jì)數(shù)

Pandas數(shù)據(jù)選取

df[col]：根據(jù)列名，并以Series的形式返回列

df[[col1, col2]]：以DataFrame形式返回多列

s.iloc[0]：按位置選取數(shù)據(jù)

s.loc['index_one']：按索引選取數(shù)據(jù)

df.iloc[0,:]：返回第一行

df.iloc[0,0]：返回第一列的第一個(gè)元素

pandas數(shù)據(jù)清理

df.columns = ['a','b','c']：重命名列名

pd.isnull()：檢查DataFrame對(duì)象中的空值，并返回一個(gè)Boolean數(shù)組

pd.notnull()：檢查DataFrame對(duì)象中的非空值，并返回一個(gè)Boolean數(shù)組

df.dropna()：刪除所有包含空值的行

df.dropna(axis=1)：刪除所有包含空值的列

df.dropna(axis=1,thresh=n)：刪除所有小于n個(gè)非空值的行

df.fillna(x)：用x替換DataFrame對(duì)象中所有的空值

s.astype(float)：將Series中的數(shù)據(jù)類(lèi)型更改為float類(lèi)型

s.replace(1,'one')：用‘one’代替所有等于1的值

s.replace([1,3],['one','three'])：用'one'代替1，用'three'代替3

df.rename(columns=lambda x: x + 1)：批量更改列名

df.rename(columns={'old_name': 'new_ name'})：選擇性更改列名

df.set_index('column_one')：更改索引列

df.rename(index=lambda x: x + 1)：批量重命名索引

Pandas數(shù)據(jù)處理

df.columns = ['a','b','c']：重命名列名

pd.isnull()：檢查DataFrame對(duì)象中的空值，并返回一個(gè)Boolean數(shù)組

pd.notnull()：檢查DataFrame對(duì)象中的非空值，并返回一個(gè)Boolean數(shù)組

df.dropna()：刪除所有包含空值的行

df.dropna(axis=1)：刪除所有包含空值的列

df.dropna(axis=1,thresh=n)：刪除所有小于n個(gè)非空值的行

df.fillna(x)：用x替換DataFrame對(duì)象中所有的空值

s.astype(float)：將Series中的數(shù)據(jù)類(lèi)型更改為float類(lèi)型

s.replace(1,'one')：用‘one’代替所有等于1的值

s.replace([1,3],['one','three'])：用'one'代替1，用'three'代替3

df.rename(columns=lambda x: x + 1)：批量更改列名

df.rename(columns={'old_name': 'new_ name'})：選擇性更改列名

df.set_index('column_one')：更改索引列

df.rename(index=lambda x: x + 1)：批量重命名索引

df[df[col] > 0.5]：選擇col列的值大于0.5的行

df.sort_values(col1)：按照列col1排序數(shù)據(jù)，默認(rèn)升序排列

df.sort_values(col2, ascending=False)：按照列col1降序排列數(shù)據(jù)

df.sort_values([col1,col2], ascending=[True,False])：先按列col1升序排列，后按col2降序排列數(shù)據(jù)

df.groupby(col)：返回一個(gè)按列col進(jìn)行分組的Groupby對(duì)象

df.groupby([col1,col2])：返回一個(gè)按多列進(jìn)行分組的Groupby對(duì)象

df.groupby(col1)[col2]：返回按列col1進(jìn)行分組后，列col2的均值

df.pivot_table(index=col1, values=[col2,col3], aggfunc=max)：創(chuàng)建一個(gè)按列col1進(jìn)行分組，并計(jì)算col2和col3的最大值的數(shù)據(jù)透視表

df.groupby(col1).agg(np.mean)：返回按列col1分組的所有列的均值

data.apply(np.mean)：對(duì)DataFrame中的每一列應(yīng)用函數(shù)np.mean

data.apply(np.max,axis=1)：對(duì)DataFrame中的每一行應(yīng)用函數(shù)np.max

Pandas數(shù)據(jù)合并

df1.append(df2)：將df2中的行添加到df1的尾部

df.concat([df1, df2],axis=1)：將df2中的列添加到df1的尾部

df1.join(df2,on=col1,how='inner')：對(duì)df1的列和df2的列執(zhí)行SQL形式的join

Pandas數(shù)據(jù)統(tǒng)計(jì)

df.describe()：查看數(shù)據(jù)值列的匯總統(tǒng)計(jì)

df.mean()：返回所有列的均值

df.corr()：返回列與列之間的相關(guān)系數(shù)

df.count()：返回每一列中的非空值的個(gè)數(shù)

df.max()：返回每一列的最大值

df.min()：返回每一列的最小值

df.median()：返回每一列的中位數(shù)

df.std()：返回每一列的標(biāo)準(zhǔn)差

到此這篇關(guān)于Python 第三方庫(kù) Pandas 數(shù)據(jù)分析教程的文章就介紹到這了,更多相關(guān)Python Pandas 數(shù)據(jù)分析內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論