python pandas dataframe 去重函數(shù)的具體使用
今天筆者想對pandas中的行進(jìn)行去重操作，找了好久，才找到相關(guān)的函數(shù)
先看一個小例子
from pandas import Series, DataFrame
data = DataFrame({'k': [1, 1, 2, 2]})
print data
IsDuplicated = data.duplicated()
print IsDuplicated
print type(IsDuplicated)
data = data.drop_duplicates()
print data
執(zhí)行結(jié)果是：
k
0 1
1 1
2 2
3 2
0 False
1 True
2 False
3 True
k
0 1
2 2
DataFrame的duplicated方法返回一個布爾型Series,表示各行是否重復(fù)行。
而 drop_duplicates方法，它用于返回一個移除了重復(fù)行的DataFrame
這兩個方法會判斷全部列，你也可以指定部分列進(jìn)行重復(fù)項判段。
drop_duplicates根據(jù)數(shù)據(jù)的不同情況及處理數(shù)據(jù)的不同需求，通常會分為兩種情況，一種是去除完全重復(fù)的行數(shù)據(jù)，另一種是去除某幾列重復(fù)的行數(shù)據(jù)，就這兩種情況可用下面的代碼進(jìn)行處理。
1. 去除完全重復(fù)的行數(shù)據(jù)
data.drop_duplicates(inplace=True)
2. 去除某幾列重復(fù)的行數(shù)據(jù)
data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
- subset： 列名，可選，默認(rèn)為None
- keep： {‘first', ‘last', False}, 默認(rèn)值 ‘first'
- first： 保留第一次出現(xiàn)的重復(fù)行，刪除后面的重復(fù)行。
- last： 刪除重復(fù)項，除了最后一次出現(xiàn)。
- False： 刪除所有重復(fù)項。
- inplace：布爾值，默認(rèn)為False，是否直接在原數(shù)據(jù)上刪除重復(fù)項或刪除重復(fù)項后返回副本。（inplace=True表示直接在原來的DataFrame上刪除重復(fù)項，而默認(rèn)值False表示生成一個副本。）
例如，希望對名字為k2的列進(jìn)行去重，
data.drop_duplicates(['k2'])
到此這篇關(guān)于python pandas dataframe 去重函數(shù)的具體使用的文章就介紹到這了,更多相關(guān)python pandas dataframe 去重函數(shù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- Python數(shù)據(jù)分析之?Pandas?Dataframe合并和去重操作
- Python Pandas實現(xiàn)DataFrame合并的圖文教程
- 關(guān)于python?DataFrame的合并方法總結(jié)
- python中DataFrame數(shù)據(jù)合并merge()和concat()方法詳解
- python pandas dataframe 按列或者按行合并的方法
- python之DataFrame實現(xiàn)excel合并單元格
- Python DataFrame使用drop_duplicates()函數(shù)去重(保留重復(fù)值，取重復(fù)值)
- Python Dataframe 指定多列去重、求差集的方法
- python Dataframe 合并與去重詳情
相關(guān)文章
聊聊pytorch中Optimizer與optimizer.step()的用法
這篇文章主要介紹了pytorch中Optimizer與optimizer.step()的用法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
下面小編就為大家分享一篇Python獲取二維矩陣每列最大值的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了python批量處理txt文件的實例代碼，代碼簡單易懂，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2020-01-01
使用Python內(nèi)置的json模塊,可以將str轉(zhuǎn)換為JSON,本文給大家介紹python str轉(zhuǎn)json的具體步驟,文中補(bǔ)充介紹了Python-字符串str和json格式的轉(zhuǎn)換問題,感興趣的朋友一起看看吧2024-01-01
在python的WEB框架Flask中使用多個配置文件的解決方法
所謂配置文件管理，就是在不改變源代碼的前提下，擁有兩套（甚至多套）配置文件，分別用于開發(fā)環(huán)境和生產(chǎn)環(huán)境，通過命令行選擇配置文件2014-04-04
特點是多平臺，一個腳本內(nèi)可以備份多個數(shù)據(jù)庫，并分別打包上傳到ftp進(jìn)行備份。調(diào)用了mysqldump及tar來進(jìn)行數(shù)據(jù)庫dump及打包。 具體參數(shù)說明參見源文件2008-08-08
django 利用Q對象與F對象進(jìn)行查詢的實現(xiàn)
這篇文章主要介紹了django 利用Q對象與F對象進(jìn)行查詢的實現(xiàn)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
django基礎(chǔ)之?dāng)?shù)據(jù)庫操作方法(詳解)
下面小編就為大家?guī)硪黄猟jango基礎(chǔ)之?dāng)?shù)據(jù)庫操作方法(詳解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
這篇文章主要介紹了利用python腳本自動部署k8s的方法,本文通過腳本代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-08-08
一文帶你探索Python中的eventlet通信機(jī)制
這篇文章主要為大家詳細(xì)介紹了Python中的eventlet通信機(jī)制的相關(guān)知識，文中的示例代碼講解詳細(xì)，對我們深入了解Python有一定幫助，需要的可以參考一下2023-06-06