從PySpark中的字符串獲取列表方法講解
在 PySpark 中是否有類似eval的功能。
我正在嘗試將 Python 代碼轉(zhuǎn)換為 PySpark
我正在查詢一個數(shù)據(jù)框，并且其中一列具有數(shù)據(jù)，如下所示，但采用字符串格式。
[{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}, {u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}, {u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}]
假設(shè)“ x”是在數(shù)據(jù)框中保存此值的列。
現(xiàn)在，我想傳遞該字符串列“ x”并獲取列表，以便可以將其傳遞給 mapPartition 函數(shù)。
我想避免迭代驅(qū)動程序上的每一行，這就是我這樣想的原因。
在 Python 中使用 eval()函數(shù)(如果已使用)：我得到以下輸出：
x = "[{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}, {u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}, {u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}]"
list = eval(x)
for i in list: print i
輸出：(這也是我在 PySpark 中想要的)
{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}
{u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}
{u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}
如何在 PySpark 中做到這一點？
實例擴(kuò)展：
df.schema: StructType(List(StructField(id,StringType,true),StructField(recs,StringType,true)))
|id | recs | |ABC|[66, [["AB", 10]]] |XYZ|[66, [["XY", 10], ["YZ", 20]]] |DEF|[66, [["DE", 10], ["EF", 20], ["FG", 30]]]
我正試著把這些單子弄平
|id | like_id
|ABC|AB|
|XYZ|XY|
|XYZ|YZ|
|DEF|DE|
|DEF|EF|
|DEF|FG|
到此這篇關(guān)于從PySpark中的字符串獲取列表方法講解的文章就介紹到這了,更多相關(guān)如何從 PySpark 中的字符串獲取列表內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
大家好，本篇文章主要講的是關(guān)于python的對象序列化介紹，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下2022-01-01
python實現(xiàn)批量轉(zhuǎn)換圖片為黑白
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)批量轉(zhuǎn)換圖片為黑白，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-06-06
畫圈？換一個說法就是循環(huán)。循環(huán)，是高級語言編程中重要的工作。現(xiàn)實生活中，很多事情都是在循環(huán)，日月更迭，斗轉(zhuǎn)星移，無不是循環(huán)；王朝更迭，尋常百姓，也都是循環(huán)。2014-09-09
這篇文章主要介紹了Python subprocess庫的使用詳解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-10-10
python去除字符串中的空格、特殊字符和指定字符的三種方法
本文主要介紹了python去除字符串中的空格、特殊字符和指定字符的三種方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
python實現(xiàn)基于兩張圖片生成圓角圖標(biāo)效果的方法
這篇文章主要介紹了python實現(xiàn)基于兩張圖片生成圓角圖標(biāo)效果的方法,實例分析了Python使用pil模塊進(jìn)行圖片處理的技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-03-03
Pytorch中expand()的使用(擴(kuò)展某個維度)
這篇文章主要介紹了Pytorch中expand()的使用(擴(kuò)展某個維度)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07
這篇文章主要介紹了Python?文件處理之open()函數(shù)，在?Python?中使用文件的關(guān)鍵函數(shù)是?open()?函數(shù)，關(guān)于其打開文件的不同方式需要的小伙伴可以參考下面詳細(xì)介紹2022-03-03
解決Python中的ModuleNotFoundError:?No?module?named?'pad
你是否在嘗試導(dǎo)入`paddle`模塊時遇到了"ModuleNotFoundError:?No?module?named?'paddle'"這個錯誤？別擔(dān)心,我們的指南會告訴你如何解決,這就像找到丟失的鑰匙一樣簡單,讓我們一起來看看如何解決這個問題吧！2024-03-03
Python使用Py2neo創(chuàng)建Neo4j的節(jié)點和關(guān)系
Neo4j是一款開源圖數(shù)據(jù)庫，使用Python語言訪問Neo4j可以使用Py2neo。本文介紹了使用Py2neo訪問Neo4j，批量創(chuàng)建節(jié)點和關(guān)系的方法2021-08-08