Pandas 解決dataframe的一列進(jìn)行向下順移問題
最近做比賽，有時(shí)候需要造出新的特征，而這次遇到的問題是將一列數(shù)據(jù)往下順移一位。同時(shí)將開頭缺失的那一個(gè)數(shù)據(jù)用其他方式填充。
df['feature'].shift(1)向下順移一位，這時(shí)第一位會(huì)置為nan，需要填充。
----------------------歷史分割線-----------------
錯(cuò)誤方案：
當(dāng)時(shí)首先想到的是用loc來直接進(jìn)行替換，也就是
i = len(dt) dt_new = pd.DataFrame() dt_new.loc[0, 'test'] = 0 dt_new.loc[1 : i - 1, 'test'] = dt.loc[0 : i - 2， 'data'] #這里會(huì)報(bào)錯(cuò)
愿望很美好，現(xiàn)實(shí)很殘酷，這種方法會(huì)報(bào)錯(cuò)。
不太好的方案：
于是打算用循環(huán)的辦法一個(gè)一個(gè)替換
dt_new = pd.DataFrame() dt_new.loc[0, 'test'] = 0 for i in range(len(dt) - 1): dt_new.loc[i + 1, 'test'] = dt.loc[i, 'data']
然而這個(gè)僅僅O(n)算法復(fù)雜度的東西，實(shí)際檢驗(yàn)當(dāng)用在幾萬行數(shù)據(jù)真的可以給你算好久好久，所以這個(gè)辦法也棄用了。
正確方案：
pandas的dataframe，每一行是有序號(hào)的，直接進(jìn)行替換的話，有時(shí)它會(huì)將相同序號(hào)的進(jìn)行替換，這個(gè)是dataFrame的特性，有時(shí)會(huì)忽略從你選擇的那一行開始替換，而直接從0開始。所以如果想用pandas來進(jìn)行順位移動(dòng)的話，目前沒有在API中找到便捷的方法。
最后終于想到了另外一個(gè)辦法，就是轉(zhuǎn)化為Numpy數(shù)組進(jìn)行移動(dòng)后，再轉(zhuǎn)回dataFrame。
dt_v = dt['data'].values dt_v = dt_v.flatten() i = len(dt) dt_new_v = np.zeros(i) dt_new_v[0] = 0 dt_new_v[1 : i] = dt_v[0 : i - 1] #這里要注意Numpy數(shù)組截取[1, i]實(shí)際截取的是[1, i - 1]行！ dt_new = pd.DataFrame() dt_new['test'] = dt_new_v
要注意Numpy數(shù)組截取[1, i]實(shí)際截取的是第[1, i - 1]行！
以上這篇Pandas 解決dataframe的一列進(jìn)行向下順移問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python迭代器模塊itertools常用的方法，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-09-09
這篇文章主要介紹了Sanic框架流式傳輸操作,結(jié)合實(shí)例形式分析了Sanic通過流請(qǐng)求與響應(yīng)傳輸操作相關(guān)實(shí)現(xiàn)技巧與注意事項(xiàng),需要的朋友可以參考下2018-07-07
這篇文章主要介紹了django 模型中的計(jì)算字段實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05
在Linux系統(tǒng)上通過uWSGI配置Nginx+Python環(huán)境的教程
這篇文章主要介紹了在Linux系統(tǒng)上通過uWSGI配置Nginx+Python環(huán)境的教程,示例中為Ubuntu系統(tǒng)并且默認(rèn)使用系統(tǒng)中自帶的Python解釋器,需要的朋友可以參考下2015-12-12
這篇文章主要介紹了Python同時(shí)迭代多個(gè)序列的方法，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
Tensorflow加載與預(yù)處理數(shù)據(jù)詳解實(shí)現(xiàn)方法
讀取大型數(shù)據(jù)集并對(duì)其進(jìn)行有效預(yù)處理可能對(duì)其他深度學(xué)習(xí)庫來說很難實(shí)現(xiàn)，但是TensorFlow借助Data API很容易實(shí)現(xiàn)：只需創(chuàng)建一個(gè)數(shù)據(jù)集對(duì)象，并告訴它如何從何處獲取數(shù)據(jù)以及如何對(duì)其進(jìn)行轉(zhuǎn)換2022-11-11
這篇文章主要介紹了python中的IO流使用方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
python中關(guān)于日期時(shí)間處理的問答集錦
python中有關(guān)日期時(shí)間處理的問答集錦，有需要的朋友不妨參考下2013-03-03
python+mysql實(shí)現(xiàn)教務(wù)管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python+mysql實(shí)現(xiàn)教務(wù)管理系統(tǒng)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-02-02
Python學(xué)習(xí)之時(shí)間包使用教程詳解
本文主要介紹了Python中的內(nèi)置時(shí)間包：datetime包?與?time包?，通過學(xué)習(xí)時(shí)間包可以讓我們的開發(fā)過程中對(duì)時(shí)間進(jìn)行輕松的處理，快來跟隨小編一起學(xué)習(xí)一下吧2022-03-03