python常用數(shù)據(jù)重復項處理方法

更新時間：2019年11月22日 14:54:48 作者：另一個起點

在本篇文章里小編給大家整理的是關于python常用數(shù)據(jù)重復項處理方法，需要的朋友們參考下。

在數(shù)據(jù)的處理過程中,一般都需要進行數(shù)據(jù)清洗工作,如數(shù)據(jù)集是否存在重復,是否存在缺失,數(shù)據(jù)是否具有完整性和一致性,數(shù)據(jù)中是否存在異常值等.發(fā)現(xiàn)諸如此類的問題都需要針對性地處理,下面我們一起學習常用的數(shù)據(jù)清洗方法.

重復觀測處理

重復觀測:指觀測行存在重復的現(xiàn)象,重復觀測的存在會影響數(shù)據(jù)分析和挖掘結果的準確性,所以在數(shù)據(jù)分析和建模之前需要進行觀測的重復性檢驗,如果存在重復觀測,

還需要進行重復項的刪除

在數(shù)據(jù)的收集過程中,可能會存在重復觀測的出現(xiàn),例如通過網絡爬蟲,就比較容易產生重復數(shù)據(jù).如下表,是通過爬蟲獲得某APP市場中電商類APP的下載量數(shù)據(jù)(部分)

通過觀測可以看出唯品會和當當出現(xiàn)了三次.如果收集上來的不是10行,而是10萬行,甚至更多是,就無法通過肉眼的方式檢測數(shù)據(jù)是否存在重復項了.

下面我們看用python怎么來處理重復項的檢查,以及如何刪除數(shù)據(jù)項中的重復項

代碼:

import pandas as pd
df = pd.read_excel(r'D:\data_test04.xlsx')
print('數(shù)據(jù)集是否存在重復觀測: \n',any(df.duplicated()))

out:

數(shù)據(jù)集是否存在重復觀測:

True

代碼就是簡單的兩行就處理好了

可以看出檢測數(shù)據(jù)集的記錄是否存在重復,使用duplicated (英文單詞的意思就是重復,復制的意思)方法,但是該方法返回的是數(shù)據(jù)集每一行的檢驗結果,為了能夠得到最直接的結果,可以使用any函數(shù),該函數(shù)表示的是在多個條件判斷中,只有一個條件為True,則any函數(shù)的結果就為True.正如結果所示,any函數(shù)的運用返回True值,說明

該數(shù)據(jù)集是存在重復觀測的.

刪除數(shù)據(jù)集中的重復觀測: