Pandas數(shù)據(jù)清洗的實(shí)現(xiàn)
在處理數(shù)據(jù)的時(shí)候,需要對(duì)數(shù)據(jù)進(jìn)行一個(gè)清洗過程。清洗操作包括:空白行的刪除、數(shù)據(jù)完整性檢驗(yàn)、數(shù)據(jù)填充、插值等內(nèi)容。
下面是數(shù)據(jù)清洗過程中使用的具體方法
刪除缺失值
DataFrame.dropna 方法用于刪除含有缺失值的行或列,關(guān)鍵參數(shù):axis 和how。
axis表示軸向,0 為行,1 為列,默認(rèn) 0。
how表示刪除形式,how = 'any' 表示只要有缺失值就刪除;how='all' 表示全為缺失值才刪除。
檢測(cè)缺失值
DataFrame.isnull() 識(shí)別缺失值,返回包含True和False的 DataFrame。DataFrame.notnull() 方法識(shí)別非缺失值,返回包含True和False的 DataFrame。
上述兩方法結(jié)合sum函數(shù)可用于檢測(cè)數(shù)據(jù)序列中缺失值的分布情況。
填充缺失值
DataFrame.fillna 方法能用指定值替換缺失值。關(guān)鍵參數(shù):value、method和axis。
value表示指定的填充值。
methodmethod = 'bfill'后向填充,用后面的非缺失值填充;method = 'ffill'前向填充,用前面的非缺失值填充。
axis表示操作軸向,默認(rèn)1(列)。
拉格朗日插值
from scipy.interpolate import lagrange formula = lagrange(x,y)#formula是通過lagrange方法生成的公式,x和y為數(shù)據(jù)序列 ins_y = formula(ins_x)#ins_x為缺失值所在位置,ins_y為插值結(jié)果。
線性插值
from scipy.interpolate import interp1d#1是數(shù)字一 formula = interp1d(x,y,kind = 'linear')#formula是通過linear方法生成的公式,x和y為數(shù)據(jù)序列 ins_y = formula(ins_x)#ins_x為缺失值所在位置,ins_y為插值結(jié)果。
到此這篇關(guān)于Pandas數(shù)據(jù)清洗的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Pandas數(shù)據(jù)清洗內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Pandas 數(shù)據(jù)處理,數(shù)據(jù)清洗詳解
- 利用pandas進(jìn)行數(shù)據(jù)清洗的方法
- pandas數(shù)據(jù)清洗實(shí)現(xiàn)刪除的項(xiàng)目實(shí)踐
- Pandas數(shù)據(jù)清洗函數(shù)總結(jié)
- Python數(shù)據(jù)清洗之利用pandas篩選數(shù)據(jù)詳解
- 利用pandas進(jìn)行數(shù)據(jù)清洗的7種方式
- 基于pandas數(shù)據(jù)清洗的實(shí)現(xiàn)示例
- Pandas數(shù)據(jù)清洗與過濾空值技巧
- Pandas數(shù)據(jù)清洗的維度詳解
- Pandas 數(shù)據(jù)清洗的具體使用
相關(guān)文章
python自動(dòng)化UI工具發(fā)送QQ消息的實(shí)例
今天小編就為大家分享一篇python自動(dòng)化UI工具發(fā)送QQ消息的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
python讀取文本中數(shù)據(jù)并轉(zhuǎn)化為DataFrame的實(shí)例
下面小編就為大家分享一篇python讀取文本中數(shù)據(jù)并轉(zhuǎn)化為DataFrame的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Python 利用高德地圖api實(shí)現(xiàn)經(jīng)緯度與地址的批量轉(zhuǎn)換
這篇文章主要介紹了Python 利用高德地圖api實(shí)現(xiàn)經(jīng)緯度與地址的批量轉(zhuǎn)換,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
python 字符串轉(zhuǎn)列表 list 出現(xiàn)\ufeff的解決方法
下面小編就為大家?guī)硪黄猵ython 字符串轉(zhuǎn)列表 list 出現(xiàn)\ufeff的解決方法。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-06-06
使用python搭建Django應(yīng)用程序步驟及版本沖突問題解決
這篇文章主要介紹了使用python搭建Django應(yīng)用程序的步驟,最近還解決了因版本沖突出現(xiàn)的錯(cuò)誤2013-11-11
Python定時(shí)執(zhí)行程序問題(schedule)
這篇文章主要介紹了Python定時(shí)執(zhí)行程序問題(schedule),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-04-04
Python實(shí)現(xiàn)根據(jù)文件后綴統(tǒng)計(jì)文件大小并找出文件位置
這篇文章主要和大家分享了一個(gè)Python腳本,主要用于統(tǒng)計(jì)指定文件夾內(nèi)特定后綴文件的數(shù)量、大小及路徑,并支持多種格式導(dǎo)出,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解下2026-05-05
在python中求分布函數(shù)相關(guān)的包實(shí)例
這篇文章主要介紹了在python中求分布函數(shù)相關(guān)的包實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-04-04

