Pandas讀存JSON數(shù)據(jù)操作示例詳解
引言
本文介紹的如何使用Pandas來讀取各種json格式的數(shù)據(jù)，以及對(duì)json數(shù)據(jù)的保存
讀取json數(shù)據(jù)
使用的是pd.read_json函數(shù)，見官網(wǎng)：pandas.pydata.org/docs/refere…
pandas.read_json( path_or_buf=None, # 文件路徑 orient=None, # 取值：split、records、index、columns、values typ='frame', # 要恢復(fù)的對(duì)象類型（系列或框架），默認(rèn)'框架'. dtype=None, # boolean或dict，默認(rèn)為True convert_axes=None, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False, date_unit=None, encoding=None, # 編碼 lines=False, # 布爾值，默認(rèn)為False，每行讀取該文件作為json對(duì)象 chunksize=None, # 分塊讀取大小 compression='infer', nrows=None, storage_options=None)
模擬數(shù)據(jù)
模擬了一份數(shù)據(jù)，vscode打開內(nèi)容：
可以看到默認(rèn)情況下的讀取效果：
主要有下面幾個(gè)特點(diǎn)：
- 第一層級(jí)字典的鍵當(dāng)做了DataFrame的字段
- 第二層級(jí)的鍵默認(rèn)當(dāng)做了行索引
下面重點(diǎn)解釋下參數(shù)orident
參數(shù)orident
取值可以是：split、records、index、columns、values
orident="split"
json文件的key的名字只能為index,cloumns,data；不多也不能少。
split' : dict like {index -> [index], columns -> [columns], data -> [values]}
In [3]:
data1 = '{"index":[1,2],"columns":["name","age"],"data":[["xiaoming",28], ["zhouhong",20]]}'
In [4]:
df1 = pd.read_json(data1, orient="split") df1
結(jié)果表明：
- index：當(dāng)做行索引
- columns：列名
- data：具體的取值
如果我們改變其中一個(gè)key，比如data換成information就報(bào)錯(cuò)了：
orient="records"
當(dāng)orient="records"的時(shí)候，數(shù)據(jù)是以字段 + 取值的形式存放的。
‘records' : list like [{column -> value}, … , {column -> value}]
In [7]:
data2 = '[{"name":"Peter","sex":"male","age":20},{"name":"Tom","age":27},{"sex":"male"}]'
In [8]:
df2 = pd.read_json(data2, orient="records") df2
生成數(shù)據(jù)的特點(diǎn)：
- 列表中元素是以字典的形式存放
- 列表中每個(gè)元素（字典）的key，如果沒有出現(xiàn)則取值為NaN
orient="index"
當(dāng)orient="index"的時(shí)候，數(shù)據(jù)是以行的形式來存儲(chǔ)。
dict like {index -> {column -> value}}
In [9]:
data3 = '{"id1":{"name":"Mike","age":20,"sex":"male","score":80},"id2":{"name":"Jack","sex":"female","score":90}}'
In [10]:
df3 = pd.read_json(data3, orient="index") df3
- 每個(gè)id存放一條數(shù)據(jù)
- 未出現(xiàn)的key取值為NaN
orient="columns"
在這種情況下數(shù)據(jù)是以列的形式來存儲(chǔ)的。
dict like {column -> {index -> value}}
In [11]:
data4 = '{"sex":{"id1":"Peter","id2":"Tom","id3":"Jimmy"},"age":{"id1": 20,"id3":28}}'
In [12]:
df4 = pd.read_json(data4, orient="columns") df4
如果我們對(duì)上面的結(jié)果實(shí)施轉(zhuǎn)置（兩種方法）：
我們會(huì)發(fā)現(xiàn)這個(gè)結(jié)果和orient="index"的讀取結(jié)果是相同的：
orient="values"
在這種情況下，數(shù)據(jù)是以數(shù)組的形式存在的：
‘values' : just the values array
In [16]:
data5 = '[["深圳",2000],["廣州",1900],["北京",2500]]'
In [17]:
df5 = pd.read_json(data5, orient="values") df5
對(duì)生成的列名進(jìn)行重新命名：
to_json
將DataFrame數(shù)據(jù)保存成json格式的文件
DataFrame.to_json(path_or_buf=None, # 路徑
orient=None, # 轉(zhuǎn)換類型
date_format=None, # 日期轉(zhuǎn)換類型
double_precision=10, # 小數(shù)保留精度
force_ascii=True, # 是否顯示中文
date_unit='ms', # 日期顯示最小單位
default_handler=None,
lines=False,
compression='infer',
index=True, # 是否保留行索引
indent=None, # 空格數(shù)
storage_options=None)
官網(wǎng)學(xué)習(xí)地址：
pandas.pydata.org/docs/refere…
1、默認(rèn)保存
df.to_json("df_to_json_1.json", force_ascii=True) # 不顯示中文
顯示結(jié)果為一行數(shù)據(jù)，且存在unicode編碼，中文無法顯示：
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"\u6df1\u5733","Tom":"\u4e0a\u6d77","Jack":"\u5317\u4eac","Mike":"\u5e7f\u5dde"}}
2、顯示中文
df.to_json("df_to_json_2.json", force_ascii=False) # 顯示中文
中文能夠正常顯示：
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"深圳","Tom":"上海","Jack":"北京","Mike":"廣州"}}
3、不同的orient顯示 + 換行（indent參數(shù)）
df.to_json("df_to_json_3.json", force_ascii=False, orient="index",indent=4)
# index + 換行
顯示結(jié)果中鍵為name信息：
4、改變index
df.to_json("df_to_json_4.json", force_ascii=False, orient="columns",indent=4) # columns + 換行
以上就是Pandas讀存JSON數(shù)據(jù)操作示例詳解的詳細(xì)內(nèi)容，更多關(guān)于Pandas讀存JSON數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
- Python基于pandas實(shí)現(xiàn)json格式轉(zhuǎn)換成dataframe的方法
- 對(duì)pandas處理json數(shù)據(jù)的方法詳解
- 讀Json文件生成pandas數(shù)據(jù)框詳情
- python使用pandas讀取json文件并進(jìn)行刷選導(dǎo)出xlsx文件的方法示例
- Pandas實(shí)現(xiàn)解析JSON數(shù)據(jù)與導(dǎo)出的示例詳解
- Python?Pandas實(shí)現(xiàn)將嵌套JSON數(shù)據(jù)轉(zhuǎn)換DataFrame
- pandas讀取HTML和JSON數(shù)據(jù)的實(shí)現(xiàn)示例
- Python使用pandas讀取Excel并選取列轉(zhuǎn)json
- Pandas JSON的處理使用
相關(guān)文章
Tensorflow 模型轉(zhuǎn)換 .pb convert to .lite實(shí)例
今天小編就為大家分享一篇Tensorflow 模型轉(zhuǎn)換 .pb convert to .lite實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-02-02
在?Flask?中，響應(yīng)使用?Response?對(duì)象表示，響應(yīng)報(bào)文中的大部分內(nèi)容由服務(wù)器處理，一般情況下，我們只負(fù)責(zé)返回主體內(nèi)容即可。在之前的文章中，我們了解到?Flask?會(huì)先匹配請(qǐng)求?url?的路由，調(diào)用對(duì)應(yīng)的視圖函數(shù)，視圖函數(shù)的返回值構(gòu)成了響應(yīng)報(bào)文的主體內(nèi)容。2021-11-11
python 基于opencv 實(shí)現(xiàn)一個(gè)鼠標(biāo)繪圖小程序
這篇文章主要介紹了python 基于opencv 實(shí)現(xiàn)一個(gè)鼠標(biāo)繪圖小程序，幫助大家更好的理解和使用python的opencv庫，感興趣的朋友可以了解下2020-12-12
如何用python將文件夾內(nèi)多個(gè)excel表格合并成總表
前幾天遇見這么一個(gè)問題,手上有很多張表格,這些表格中都只有一個(gè)sheet,需要把這些表匯總到一張表,下面這篇文章主要給大家介紹了關(guān)于如何用python將文件夾內(nèi)多個(gè)excel表格合并成總表的相關(guān)資料,需要的朋友可以參考下2023-06-06
這篇文章主要介紹了基于K-Means聚類算法演示及可視化展示，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
這篇文章主要介紹了Pytest之Fixture參數(shù)詳解及使用,本文結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-01-01
Python原始字符串(raw strings)用法實(shí)例
這篇文章主要介紹了Python原始字符串(raw strings)用法實(shí)例,在使用Python進(jìn)行字符串處理的過程中非常具有實(shí)用價(jià)值,需要的朋友可以參考下2014-10-10
Python基于yield遍歷多個(gè)可迭代對(duì)象
這篇文章主要介紹了Python基于yield遍歷多個(gè)可迭代對(duì)象,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-03-03
python 使用OpenCV進(jìn)行簡單的人像分割與合成
這篇文章主要介紹了python 使用OpenCV進(jìn)行簡單的人像分割與合成的方法，幫助大家更好的利用python處理圖像，感興趣的朋友可以了解下2021-02-02
AI:如何訓(xùn)練機(jī)器學(xué)習(xí)的模型
這篇文章主要介紹了是如何進(jìn)行機(jī)器學(xué)習(xí)的模型的訓(xùn)練,全文邏輯清晰,簡單易懂,如果您正在學(xué)習(xí)機(jī)器學(xué)習(xí)那么可以參考下,說不定會(huì)有不一樣的收貨2021-04-04