spark dataframe 將一列展開,把該列所有值都變成新列的方法
更新時間：2019年01月29日 11:39:19 作者：Nougats
今天小編就為大家分享一篇spark dataframe 將一列展開,把該列所有值都變成新列的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
The original dataframe
需求：hour代表一天的24小時，現(xiàn)在要將hour列展開，每一個小時都作為一個列
實現(xiàn)：
val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)
并且統(tǒng)計了對應的countGeoPerHour的和，如果有些行沒有這個新列對應的數(shù)據(jù)，將用null填充
The new dataframe
以上這篇spark dataframe 將一列展開,把該列所有值都變成新列的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
使用Python下載歌詞并嵌入歌曲文件中的實現(xiàn)代碼
這篇文章主要介紹了使用Python下載歌詞并嵌入歌曲文件中的實現(xiàn)代碼,需要借助eyed3模塊,需要的朋友可以參考下2015-11-11
Python3.10接入ChatGPT實現(xiàn)逐句回答流式返回
這篇文章主為大家要介紹了Python3.10接入ChatGPT實現(xiàn)逐句回答流式返回示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-03-03
用python介紹4種常用的單鏈表翻轉(zhuǎn)的方法小結
這篇文章主要介紹了用python介紹4種常用的單鏈表翻轉(zhuǎn)的方法小結，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-02-02
這篇文章主要介紹了Python如何重新加載模塊,文中講解非常細致，代碼幫助大家更好的理解和學習，感興趣的朋友可以了解下2020-07-07
除了常用的csv文件和excel文件之外，我們還可以通過Python把數(shù)據(jù)保存文npy文件格式和mat文件格式。本文為大家展示了實現(xiàn)npy文件與mat文件的保存與讀取的示例代碼，需要的可以參考一下2022-04-04
下面小編就為大家?guī)硪黄狿ython字典實現(xiàn)簡單的三級菜單(實例講解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-07-07
這篇文章主要為大家介紹了Python面向?qū)ο笾K，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
這篇文章主要給大家介紹了關于如何利用Python給自己的頭像加一個小國旗（小月餅）的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-10-10
Python基于opencv實現(xiàn)的簡單畫板功能示例
這篇文章主要介紹了Python基于opencv實現(xiàn)的簡單畫板功能,結合實例形式分析了Python使用opencv模塊進行圖形繪制的相關操作技巧,需要的朋友可以參考下2019-03-03
Python實現(xiàn)批量將PPT轉(zhuǎn)換成長圖
這篇文章主要為大家詳細介紹了如何利用Python實現(xiàn)批量將PPT轉(zhuǎn)換成長圖,并且圖片名稱與PPT文件名稱相同,保存位置相同,感興趣的小伙伴可以了解下2023-08-08