快捷導(dǎo)航

Python通過四大 AutoEDA 工具包快速產(chǎn)出完美數(shù)據(jù)報(bào)告

更新時(shí)間：2021年11月03日 16:25:53 作者：Python學(xué)習(xí)與數(shù)據(jù)挖掘

在三年前，我們做數(shù)據(jù)競(jìng)賽或者數(shù)據(jù)建模類的項(xiàng)目時(shí)，前期我們會(huì)耗費(fèi)較多的時(shí)間去分析數(shù)據(jù)，但現(xiàn)在非常多擅長(zhǎng)數(shù)據(jù)分析的大師們已經(jīng)將我們平時(shí)?？吹臄?shù)據(jù)方式進(jìn)行了集成，開發(fā)了很多AutoEDA的工具包。可以幫助我們節(jié)省大量時(shí)間

AutoEDA工具包對(duì)于剛剛學(xué)習(xí)數(shù)據(jù)分析的小伙伴可以帶來非常大的幫助。

本篇文章我們介紹目前最流行的四大AutoEDA工具包。

D-tale
Pandas-Profiling
Sweetviz
AutoViz

這幾個(gè)工具包可以以短短三五行代碼幫新手節(jié)省將近一天時(shí)間去寫代碼分析，非常建議大家收藏學(xué)習(xí)，喜歡點(diǎn)贊支持，文末提供技術(shù)交流群，盡情暢聊。

介紹

01 D-Tale

D-Tale是Flask后端和React前端組合的產(chǎn)物，也是一個(gè)開源的Python自動(dòng)可視化庫(kù)，可以為我們提供查看和分析Pandas DataFrame的方法，幫助我們獲得非常數(shù)據(jù)的詳細(xì)EDA。

目前D-Tale支持DataFrame、Series、MultiIndex、DatetimeIndex 和 RangeIndex 等 Pandas 對(duì)象。

Github 鏈接

https://github.com/man-group/dtale

# pip install dtale
import dtale
import pandas as pd
df = pd.read_csv('./data/titanic.csv')
d = dtale.show(df)
d.open_browser()

02 Pandas-Profiling

Pandas-Profiling可以對(duì)Pandas DataFrame生成report報(bào)告。其中：

pandas_profiling的df.profile_report()擴(kuò)展了pandas DataFrame以方便進(jìn)行快速數(shù)據(jù)分析。

Pandas-Profiling對(duì)于每一列特征，特征的統(tǒng)計(jì)信息（如果與列類型相關(guān)）會(huì)顯示在交互式 HTML的report中：

Type：檢測(cè)數(shù)據(jù)列類型；
Essentials：類型、unique值、缺失值
分位數(shù)統(tǒng)計(jì)，如最小值、Q1、中位數(shù)、Q3、最大值、范圍、四分位距
描述性統(tǒng)計(jì)數(shù)據(jù)，如均值、眾數(shù)、標(biāo)準(zhǔn)差、總和、中值絕對(duì)偏差、變異系數(shù)、峰態(tài)、偏度
出現(xiàn)最多的值
直方圖
高度相關(guān)變量、Spearman、Pearson 和 Kendall 矩陣的相關(guān)性突出顯示
缺失值矩陣、計(jì)數(shù)、熱圖和缺失值樹狀圖
…

Github 鏈接

https://github.com/pandas-profiling/pandas-profiling/

from pandas_profiling import ProfileReport
profile = ProfileReport(df, title="Pandas Profiling Report")
profile

2021-10-30 22:50:43,584 - INFO - Pandas backend loaded 1.2.5
2021-10-30 22:50:43,597 - INFO - Numpy backend loaded 1.19.2
2021-10-30 22:50:43,599 - INFO - Pyspark backend NOT loaded
2021-10-30 22:50:43,600 - INFO - Python backend loaded

一個(gè)特征的案例

03 Sweetviz

Sweetviz也是一個(gè)開源Python庫(kù)，Sweetviz可以用簡(jiǎn)短幾行代碼生成美觀、高密度的可視化文件，只需兩行代碼即可開啟探索性數(shù)據(jù)分析并輸出一個(gè)完全獨(dú)立的 HTML 應(yīng)用程序。Sweetviz主要包含下面的分析：

數(shù)據(jù)集概述
變量屬性
類別的關(guān)聯(lián)性
數(shù)值關(guān)聯(lián)性
數(shù)值特征最頻繁值、最小、最大值

Github 鏈接

https://github.com/fbdesignpro/sweetviz

# pip install sweetviz
import sweetviz as sv 
sweetviz_report = sv.analyze(df)
sweetviz_report.show_html()

04 AutoViz

AutoViz可以使用一行自動(dòng)顯示任何數(shù)據(jù)集。給出任何輸入文件（CSV、txt或json），AutoViz都可以對(duì)其進(jìn)行可視化。AutoViz的結(jié)果會(huì)以非常多的圖片都形式存在文件夾下方。

Github 鏈接

https://github.com/AutoViML/AutoViz

# pip install autoviz
from autoviz.AutoViz_Class import AutoViz_Class
AV = AutoViz_Class()

sep = ';'
dft = AV.AutoViz(filename="",sep=sep, depVar='Pclass', dfte=df, header=0, verbose=2, 
                 lowess=False, chart_format='png', max_rows_analyzed=150000, max_cols_analyzed=30)

諸多文件全都在當(dāng)前文件夾下方

我們打開其中一個(gè)效果如下：

適用問題

適用于所有的數(shù)據(jù)分析問題。

技術(shù)交流

歡迎轉(zhuǎn)載、收藏、有所收獲點(diǎn)贊支持一下！

在這里插入圖片描述

到此這篇關(guān)于Python通過四大 AutoEDA 工具包快速產(chǎn)出完美數(shù)據(jù)報(bào)告的文章就介紹到這了,更多相關(guān)Python AutoEDA工具包內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: