pandas數(shù)據(jù)清洗實現(xiàn)刪除的項目實踐
更新時間：2022年06月17日 09:59:06 作者：ACxz
本文主要介紹了pandas數(shù)據(jù)清洗實現(xiàn)刪除的項目實踐，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
準備工作（導入庫、導入數(shù)據(jù)）
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import seaborn as ?sns
sns.set_style("darkgrid") ??list_csv = ['Amazon_top_selling_book.csv','breast_cancer_wisconsin.csv','diamonds.csv','insurance.csv','netflix_titles.csv','penguins.csv',
'titanic.csv','winequality-red.csv']
dic_path = r'C:\Users\pandas\Desktop\task\228datasets\datasets'
part_data = pd.read_csv(dic_path+'\\'+list_csv[4])
part_data
| show_id | type | title | director | cast | country | date_added | release_year | rating | duration | listed_in | description | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | s1 | Movie | Dick Johnson Is Dead | Kirsten Johnson | NaN | United States | September 25, 2021 | 2020 | PG-13 | 90 min | Documentaries | As her father nears the end of his life, filmm... |
| 1 | s2 | TV Show | Blood & Water | NaN | Ama Qamata, Khosi Ngema, Gail Mabalane, Thaban... | South Africa | September 24, 2021 | 2021 | TV-MA | 2 Seasons | International TV Shows, TV Dramas, TV Mysteries | After crossing paths at a party, a Cape Town t... |
| 2 | s3 | TV Show | Ganglands | Julien Leclercq | Sami Bouajila, Tracy Gotoas, Samuel Jouy, Nabi... | NaN | September 24, 2021 | 2021 | TV-MA | 1 Season | Crime TV Shows, International TV Shows, TV Act... | To protect his family from a powerful drug lor... |
| 3 | s4 | TV Show | Jailbirds New Orleans | NaN | NaN | NaN | September 24, 2021 | 2021 | TV-MA | 1 Season | Docuseries, Reality TV | Feuds, flirtations and toilet talk go down amo... |
| 4 | s5 | TV Show | Kota Factory | NaN | Mayur More, Jitendra Kumar, Ranjan Raj, Alam K... | India | September 24, 2021 | 2021 | TV-MA | 2 Seasons | International TV Shows, Romantic TV Shows, TV ... | In a city of coaching centers known to train I... |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
8807 rows × 12 columns
檢測數(shù)據(jù)情況
Hint:該函數(shù)用于檢測任意DataFrame中缺失值情況
def missing_values_table(df):
mis_val = df.isnull().sum()
mis_val_percent = 100 * df.isnull().sum() / len(df)
mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
mis_val_table_ren_columns = mis_val_table.rename(
columns = {0 : 'Missing Values', 1 : '% of Total Values'})
mis_val_table_ren_columns = mis_val_table_ren_columns[
mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
'% of Total Values', ascending=False).round(1)
print ("Your selected dataframe has " + str(df.shape[1]) + " columns.\n"
"There are " + str(mis_val_table_ren_columns.shape[0]) +
" columns that have missing values.")
return mis_val_table_ren_columns
missing_values_table(part_data)
Your selected dataframe has 12 columns.
There are 6 columns that have missing values.
| Missing Values | % of Total Values | |
|---|---|---|
| director | 2634 | 29.9 |
| country | 831 | 9.4 |
| cast | 825 | 9.4 |
| date_added | 10 | 0.1 |
| rating | 4 | 0.0 |
| duration | 3 | 0.0 |
DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)
參數(shù)說明：
- labels 就是要刪除的行列的名字，用列表給定
- axis 默認為0，指刪除行，因此刪除columns時要指定axis=1；
- index 直接指定要刪除的行
- columns 直接指定要刪除的列
- inplace=False，默認該刪除操作不改變原數(shù)據(jù)，而是返回一個執(zhí)行刪除操作后的新dataframe；
- inplace=True，則會直接在原數(shù)據(jù)上進行刪除操作，刪除后無法返回。
方式一：刪除指定行或列
labels+axis
demo = part_data.drop(['director'], axis=1) missing_values_table(demo)
Your selected dataframe has 11 columns.
There are 5 columns that have missing values.
| Missing Values | % of Total Values | |
|---|---|---|
| country | 831 | 9.4 |
| cast | 825 | 9.4 |
| date_added | 10 | 0.1 |
| rating | 4 | 0.0 |
| duration | 3 | 0.0 |
方式二：利用boolean刪除滿足條件元素所在的行
df = df.drop(df[].index)
# 刪除release_year年份在2009年之前的行 demo = part_data.drop(part_data[part_data["release_year"]<2009].index) demo.shape
(7624, 12)
到此這篇關于pandas數(shù)據(jù)清洗實現(xiàn)刪除的項目實踐的文章就介紹到這了,更多相關pandas數(shù)據(jù)清洗刪除內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關文章
關于Pytorch MaxUnpool2d中size操作方式
今天小編就為大家分享一篇關于Pytorch MaxUnpool2d中size操作方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
今天小編就為大家分享一篇pytorch 歸一化與反歸一化實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
python-opencv中的cv2.inRange函數(shù)用法說明
這篇文章主要介紹了python-opencv中的cv2.inRange函數(shù)用法說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
這篇文章主要介紹了Python datetime模塊使用方法小結,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
這篇文章主要介紹了基于python的圖像Gabor變換及特征提取，本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友參考下吧2020-10-10
numpy.ndarray 交換多維數(shù)組(矩陣)的行/列方法
今天小編就為大家分享一篇numpy.ndarray 交換多維數(shù)組(矩陣)的行/列方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-08-08
今天小編就為大家分享一篇python 畫二維、三維點之間的線段實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
梯度下降法的機器學習的重要思想之一，梯度下降法的目標，是使得代價函數(shù)最小。本文主要和大家分享的是python實現(xiàn)多元線性回歸的梯度下降法，感興趣的可以了解一下2022-08-08
這篇文章主要介紹了python實現(xiàn)圖像外邊界跟蹤操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
這篇文章主要介紹了OpenCV基本操作之圓圈檢測，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-09-09