pandas數(shù)據(jù)處理之取出重復(fù)數(shù)據(jù)實(shí)踐
更新時(shí)間：2026年04月22日 09:13:40 作者：星越華夏
本文介紹了使用Pandas庫處理重復(fù)數(shù)據(jù)的方法,方法一通過將duplicate_bool設(shè)為True,保留重復(fù)數(shù)據(jù)；方法二通過兩次drop_duplicates操作,得到重復(fù)數(shù)據(jù)
pandas取出重復(fù)數(shù)據(jù)
平常我們用pandas做重復(fù)數(shù)據(jù)處理時(shí)，常常調(diào)用到drop_duplicates方法來去除重。
現(xiàn)在我不想完全去除重復(fù)，而是把重復(fù)數(shù)據(jù)輸出，現(xiàn)有數(shù)據(jù)如下所示：
dic = {'序號(hào)':[2,3,4,5,6,7,8,9,10,11,12,13,14,15],'地市縮寫': ['LF', 'CZ', 'HS', 'ZJ', 'TS', 'HD', '廣陽', 'CD', 'QH', 'XT', 'XA', 'BD', 'SJ', '欒城'],
'地市': ['廊坊', '滄州', '衡水', '張家口', '唐山', '邯鄲', '廊坊', '承德', '秦皇島', '邢臺(tái)', '雄安', '保定',
'石家莊', '石家莊']}
p_city = pd.DataFrame(dic)
print(p_city )輸出：
方法一
重復(fù)數(shù)據(jù)保留一個(gè)，duplicate_bool輸出的是bool類型值，通過判斷bool==True，取出重復(fù)行。
duplicate_bool = p_city.duplicated(subset=['地市'], keep='first') print(duplicate_bool ) repeat =p_city.loc[duplicate_bool == True] print(repeat)
輸出：
方法二
采用drop_duplicates對(duì)數(shù)據(jù)去兩次重，一次將重復(fù)數(shù)據(jù)全部去除(keep=False)，一次將重復(fù)數(shù)據(jù)保留一個(gè)(keep=last/first)，將兩個(gè)去重后的數(shù)據(jù)做差集，取出重復(fù)行。
# 重復(fù)數(shù)據(jù)全部去除 data1 = p_city.drop_duplicates(subset=['地市'], keep=False) print(data1)
輸出：
# 重復(fù)數(shù)據(jù)保留一個(gè) data2 = p_city.drop_duplicates(subset=['地市'], keep='last') print(data2)
輸出：
# 做差集，取出重復(fù)行 data1 = p_city.drop_duplicates(subset=['地市'], keep=False) data2 = p_city.drop_duplicates(subset=['地市'], keep='last') repeat = pd.concat([data2,data1]).drop_duplicates(keep=False) print(repeat)
輸出：
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python with (as)語句實(shí)例詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02
Python快速實(shí)現(xiàn)簡(jiǎn)易貪吃蛇小游戲的示例代碼
貪吃蛇（也叫做貪食蛇）游戲是一款休閑益智類游戲，有PC和手機(jī)等多平臺(tái)版本。既簡(jiǎn)單又耐玩。本文將利用Python語言快速實(shí)現(xiàn)簡(jiǎn)易貪吃蛇小游戲，感興趣的可以嘗試一下2022-10-10
Python+Django在windows下的開發(fā)環(huán)境配置圖解
Python+Django在windows下的開發(fā)環(huán)境配置圖解教程，需要的朋友可以參考下。2009-11-11
在日常辦公和數(shù)據(jù)處理中,經(jīng)常需要將Word文檔中的表格提取為DataFrame進(jìn)行后續(xù)分析,但Word表格的格式復(fù)雜,常規(guī)讀取方式容易丟失格式或出現(xiàn)內(nèi)容為空的問題,本文將從基礎(chǔ)到終極,提供5個(gè)版本的可直接運(yùn)行代碼,覆蓋所有Word表格場(chǎng)景,需要的朋友可以參考下2026-05-05
這篇文章主要介紹了python中的線程池threadpool問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
這篇文章主要介紹了Python調(diào)用.NET庫的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
Python解析網(wǎng)頁源代碼中的115網(wǎng)盤鏈接實(shí)例
這篇文章主要介紹了Python解析網(wǎng)頁源代碼中的115網(wǎng)盤鏈接實(shí)例,主要采用了正則表達(dá)式re模塊來實(shí)現(xiàn)該功能,需要的朋友可以參考下2014-09-09
pandas.loc 選取指定列進(jìn)行操作的實(shí)例
今天小編就為大家分享一篇pandas.loc 選取指定列進(jìn)行操作的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
Python Pygame實(shí)現(xiàn)落球游戲詳解
本文主要介紹了利用Pygame實(shí)現(xiàn)落球小游戲，即屏幕上落下一個(gè)球，通過鼠標(biāo)移動(dòng)，地下的木塊如果接上則加分，否則就減去一命，三條命用完則游戲結(jié)束。感興趣的可以學(xué)習(xí)2022-01-01
這篇文章主要介紹了pandas 使用insert插入一列的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03