pandas刪除重復(fù)數(shù)據(jù)簡(jiǎn)單方法
更新時(shí)間：2023年07月07日 12:03:04 作者：**星光*
這篇文章主要給大家介紹了關(guān)于pandas刪除重復(fù)數(shù)據(jù)的簡(jiǎn)單方法,在數(shù)據(jù)處理過(guò)程中常常會(huì)遇到重復(fù)的問(wèn)題,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
1、pandas中重復(fù)索引問(wèn)題
df = df[~df.index.duplicated()]
2、pandas刪除重復(fù)數(shù)據(jù)行
# 首先導(dǎo)入常用的兩個(gè)包
import pandas as pd
import numpy as np
# 1.刪除完全重復(fù)的行
df.drop_duplicates()
2.按k列進(jìn)行去重，對(duì)于重復(fù)項(xiàng)，保留第一次出現(xiàn)的值
df.drop_duplicates('k',keep='first')
3、k2和k1兩列進(jìn)行去重
df.drop_duplicates(['k2','k1'], keep='first')
"""
keep：{‘first', ‘last', False}, 默認(rèn)值 ‘first'
first：保留第一次出現(xiàn)的重復(fù)行，刪除后面的重復(fù)行。
last：刪除前面的重復(fù)項(xiàng)，保留最后一次出現(xiàn)的重復(fù)行。
False：刪除所有重復(fù)項(xiàng)
"""3、drop_duplicates()函數(shù)的語(yǔ)法
df.drop_duplicates(subset=['A','B','C'],keep='first',inplace=True)
參數(shù)說(shuō)明如下：
- subset：表示要進(jìn)去重的列名，默認(rèn)為 None。
- keep：有三個(gè)可選參數(shù)，分別是 first、last、False，默認(rèn)為 first，表示只保留第一次出現(xiàn)的重復(fù)項(xiàng)，刪除其余重復(fù)項(xiàng)，last 表示只保留最后一次出現(xiàn)的重復(fù)項(xiàng)，F(xiàn)alse 則表示刪除所有重復(fù)項(xiàng)。
- inplace：布爾值參數(shù)，默認(rèn)為 False 表示刪除重復(fù)項(xiàng)后返回一個(gè)副本，若為 Ture 則表示直接在原數(shù)據(jù)上刪除重復(fù)項(xiàng)。
附：pandas數(shù)據(jù)處理——取出重復(fù)數(shù)據(jù)
平常我們用pandas做重復(fù)數(shù)據(jù)處理時(shí)，常常調(diào)用到drop_duplicates方法來(lái)去除重。
現(xiàn)在我不想完全去除重復(fù)，而是把重復(fù)數(shù)據(jù)輸出，現(xiàn)有數(shù)據(jù)如下所示：
方法：
重復(fù)數(shù)據(jù)保留一個(gè)，duplicate_bool輸出的是bool類(lèi)型值，通過(guò)判斷bool==True，取出重復(fù)行。
duplicate_bool = df.duplicated(subset=['id'], keep='first') repeat=df.loc[duplicate_bool == True] repeat復(fù)制
輸出：
總結(jié)
到此這篇關(guān)于pandas刪除重復(fù)數(shù)據(jù)的文章就介紹到這了,更多相關(guān)pandas刪除重復(fù)數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了python?turtle繪制多邊形和跳躍和改變速度特效,文章實(shí)現(xiàn)過(guò)程詳細(xì)，需要的小伙伴可以參考一下，希望對(duì)你的學(xué)習(xí)有所幫助2022-03-03
Python爬蟲(chóng)中urllib3與urllib的區(qū)別是什么
Urllib3是一個(gè)功能強(qiáng)大，條理清晰，用于HTTP客戶(hù)端的Python庫(kù)。那么Python爬蟲(chóng)中urllib3與urllib的區(qū)別是什么，本文就詳細(xì)的來(lái)介紹一下2021-07-07
windos安裝了python但cmd命令行找不到python的解決過(guò)程
在使用Python進(jìn)行開(kāi)發(fā)和學(xué)習(xí)時(shí),CMD(命令提示符)是一個(gè)非常重要的工具,這篇文章主要介紹了windos安裝了python但cmd命令行找不到python的解決過(guò)程,文中將解決的步驟介紹的非常詳細(xì),需要的朋友可以參考下2025-12-12
這篇文章主要介紹了Python 閉包的使用方法的相關(guān)資料,了解閉包及定義方法和使用，需要的朋友可以參考下2017-09-09
教你十行代碼實(shí)現(xiàn)python向手機(jī)推送通知功能
這篇文章主要介紹了十行代碼實(shí)現(xiàn)python向手機(jī)推送通知,這里使用的是pushplus的服務(wù)，代碼也很簡(jiǎn)單，運(yùn)行代碼后也是很快就可以收到消息推送，需要的朋友可以參考下2022-04-04
帶你學(xué)習(xí)Python如何實(shí)現(xiàn)回歸樹(shù)模型
這篇文章主要介紹了Python如何實(shí)現(xiàn)回歸樹(shù)模型，文中講解非常細(xì)致，幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
Python自動(dòng)化操作Excel方法詳解(xlrd,xlwt)
Excel是Windows環(huán)境下流行的、強(qiáng)大的電子表格應(yīng)用。本文將詳解用Python利用xlrd和xlwt實(shí)現(xiàn)自動(dòng)化操作Excel的方法詳細(xì)，需要的可以參考一下2022-06-06
Python 如何實(shí)現(xiàn)訪問(wèn)者模式
這篇文章主要介紹了Python 如何實(shí)現(xiàn)訪問(wèn)者模式，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
Python開(kāi)發(fā)工具Pycharm的安裝以及使用步驟總結(jié)
今天給大家?guī)?lái)的是關(guān)于Python開(kāi)發(fā)工具的安裝以及使用的相關(guān)知識(shí),文章圍繞著如何使用和安裝Pycharm展開(kāi),文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
Python高效實(shí)現(xiàn)Excel與TXT文本文件之間的數(shù)據(jù)轉(zhuǎn)換
Excel 文件和文本文件（TXT）在不同場(chǎng)景中各有優(yōu)勢(shì),本文將通過(guò)實(shí)際操作,演示如何使用 Python 來(lái)實(shí)現(xiàn) Excel 和 TXT 文件之間的數(shù)據(jù)轉(zhuǎn)換,幫助你輕松掌握這一常見(jiàn)且實(shí)用的技巧2025-10-10