Python對(duì)多屬性的重復(fù)數(shù)據(jù)去重實(shí)例

更新時(shí)間：2018年04月18日 15:26:53 作者：I天輝I

下面小編就為大家分享一篇Python對(duì)多屬性的重復(fù)數(shù)據(jù)去重實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

python中的pandas模塊中對(duì)重復(fù)數(shù)據(jù)去重步驟：

1）利用DataFrame中的duplicated方法返回一個(gè)布爾型的Series,顯示各行是否有重復(fù)行，沒(méi)有重復(fù)行顯示為FALSE，有重復(fù)行顯示為TRUE；

2）再利用DataFrame中的drop_duplicates方法用于返回一個(gè)移除了重復(fù)行的DataFrame。

注釋：

如果duplicated方法和drop_duplicates方法中沒(méi)有設(shè)置參數(shù)，則這兩個(gè)方法默認(rèn)會(huì)判斷全部咧，如果在這兩個(gè)方法中加入了指定的屬性名（或者稱為列名），例如：frame.drop_duplicates(['state']),則指定部分列（state列）進(jìn)行重復(fù)項(xiàng)的判斷。

具體實(shí)例如下：

>>> import pandas as pd 
>>> data={'state':[1,1,2,2],'pop':['a','b','c','d']} 
>>> frame=pd.DataFrame(data) 
>>> frame 
 pop state 
0 a  1 
1 b  1 
2 c  2 
3 d  2 
>>> IsDuplicated=frame.duplicated() 
>>> print IsDuplicated 
0 False 
1 False 
2 False 
3 False 
dtype: bool 
>>> frame=frame.drop_duplicates(['state']) 
>>> frame 
 pop state 
0 a  1 
2 c  2 
>>> IsDuplicated=frame.duplicated(['state']) 
>>> print IsDuplicated 
0 False 
2 False 
dtype: bool 
>>>

以上這篇Python對(duì)多屬性的重復(fù)數(shù)據(jù)去重實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

詳解讓Python性能起飛的15個(gè)技巧
Python?一直以來(lái)被大家所詬病的一點(diǎn)就是執(zhí)行速度慢，但不可否認(rèn)的是?Python?依然是我們學(xué)習(xí)和工作中的一大利器。本文總結(jié)了15個(gè)tips有助于提升?Python?執(zhí)行速度、優(yōu)化性能，需要的可以參考一下
2022-02-02
python實(shí)現(xiàn)刪除文件與目錄的方法
這篇文章主要介紹了python實(shí)現(xiàn)刪除文件與目錄的方法,詳細(xì)的分析了涉及Python文件操作的各種方法,需要的朋友可以參考下
2014-11-11
python非對(duì)稱加密算法RSA實(shí)現(xiàn)原理與應(yīng)用詳解
RSA加密算法是一種非對(duì)稱加密算法,RSA算法的安全性基于大數(shù)分解的困難性,即已知兩個(gè)大素?cái)?shù)p和q的乘積n,求解p和q非常困難,RSA算法廣泛應(yīng)用于數(shù)據(jù)加密和數(shù)字簽名等領(lǐng)域,本文將詳細(xì)介紹如何在Python中使用RSA算法進(jìn)行加密和解密,需要的朋友可以參考下
2024-09-09
python爬取拉勾網(wǎng)職位數(shù)據(jù)的方法
這篇文章主要介紹了python爬取拉勾網(wǎng)職位數(shù)據(jù)的實(shí)現(xiàn)方法，非常不錯(cuò)，具有參考借鑒價(jià)值,需要的朋友可以參考下
2018-01-01
python中for循環(huán)輸出列表索引與對(duì)應(yīng)的值方法
今天小編就為大家分享一篇python中for循環(huán)輸出列表索引與對(duì)應(yīng)的值方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-11-11
Python計(jì)算多幅圖像柵格值的平均值
這篇文章主要為大家詳細(xì)介紹了Python計(jì)算多幅圖像柵格值的平均值，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-06-06
python Xpath語(yǔ)法的使用
這篇文章主要介紹了python Xpath語(yǔ)法的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-11-11
Python中通過(guò)property設(shè)置類屬性的訪問(wèn)
為了達(dá)到類似C++類的封裝性能,可以使用property來(lái)設(shè)置Python類屬性的訪問(wèn)權(quán)限,本文就介紹一下Python中通過(guò)property設(shè)置類屬性的訪問(wèn),感興趣的可以了解一下,感興趣的可以了解一下
2023-09-09
Python中日期和時(shí)間的互相轉(zhuǎn)換操作方法
Python的datetime模塊提供了一套強(qiáng)大而靈活的工具,使我們能夠輕松地在不同的時(shí)間表示形式間相互轉(zhuǎn)換,并進(jìn)行復(fù)雜的時(shí)間計(jì)算,本文通過(guò)一個(gè)實(shí)用的例子向大家展示如何在Python中高效地進(jìn)行這些操作,感興趣的朋友一起看看吧
2024-05-05
使用Python轉(zhuǎn)換Markdown文件為Word文檔
Markdown格式的文章轉(zhuǎn)換成Word文檔能夠幫助作者制作更復(fù)雜的文檔,同時(shí)確保內(nèi)容的一致性和美觀性,本文將使用Python實(shí)現(xiàn)Markdown轉(zhuǎn)Word,感興趣的可以了解下
2024-11-11