快捷導(dǎo)航

Pandas實(shí)現(xiàn)解析JSON數(shù)據(jù)與導(dǎo)出的示例詳解

更新時(shí)間：2023年07月18日 11:30:08 作者：吃肉的小饅頭

其實(shí)使用pandas解析JSON?Dataset要方便得多，所以這篇文章主要為大家介紹了Pandas實(shí)現(xiàn)解析JSON數(shù)據(jù)與導(dǎo)出的具體方法，需要的小伙伴可以收藏一下

使用pandas解析JSON Dataset要方便得多。Pandas允許您將列表的列表轉(zhuǎn)換為Dataframe并單獨(dú)指定列名。JSON解析器將JSON文本轉(zhuǎn)換為另一種表示必須接受符合JSON語(yǔ)法的所有文本。它可以接受非JSON形式或擴(kuò)展。實(shí)現(xiàn)可以設(shè)置以下內(nèi)容：

它接受的文本大小的限制，
對(duì)嵌套的最大深度的限制，
對(duì)數(shù)字范圍和精度的限制，
設(shè)置字符串的長(zhǎng)度和字符內(nèi)容的限制。

使用大型JSON數(shù)據(jù)集可能會(huì)惡化，特別是當(dāng)它們太大而無(wú)法容納在內(nèi)存中時(shí)。在這種情況下，命令行工具和Python的組合可以成為探索和分析數(shù)據(jù)的有效方法。

導(dǎo)入JSON文件

JSON的操作是使用Python數(shù)據(jù)分析庫(kù)pandas完成的。

import pandas as pd

現(xiàn)在，您可以使用命令read_json讀取JSON并將其保存為pandas數(shù)據(jù)結(jié)構(gòu)。

pandas.read_json (path_or_buf=None, orient = None, typ=’frame’, dtype=True, convert_axes=True, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False, date_unit=None, encoding=None, lines=False, chunksize=None, compression=’infer’)

import pandas as pd
# Creating Dataframe 
df = pd.DataFrame([['a', 'b'], ['c', 'd']],
                  index =['row 1', 'row 2'],
                  columns =['col 1', 'col 2'])
# Indication of expected JSON string format
print(df.to_json(orient ='split'))
print(df.to_json(orient ='index'))

輸出：

{"columns":["col 1", "col 2"],
"index":["row 1", "row 2"],
"data":[["a", "b"], ["c", "d"]]}
{"row 1":{"col 1":"a", "col 2":"b"},
"row 2":{"col 1":"c", "col 2":"d"}}

轉(zhuǎn)換object對(duì)象到j(luò)son數(shù)據(jù)使用dataframe.to_json

DataFrame.to_json(path_or_buf=None, orient=None, date_format=None, double_precision=10, force_ascii=True, date_unit=’ms’, default_handler=None, lines=False, compression=’infer’, index=True)

直接從Dataset讀取JSON文件：

import pandas as pd
data = pd.read_json('http://api.population.io/1.0/population/India/today-and-tomorrow/?format = json')
print(data)

輸出：

total_population
0 {'date': '2019-03-18', 'population': 1369169250}
1 {'date': '2019-03-19', 'population': 1369211502}

使用Pandas進(jìn)行嵌套JSON解析

嵌套的JSON文件可能非常耗時(shí)，并且很難將其展平并加載到Pandas中。

我們使用嵌套的“'raw_nyc_phil.json。"'從一個(gè)嵌套數(shù)組創(chuàng)建一個(gè)扁平化的pandas數(shù)據(jù)框，然后解包一個(gè)深度嵌套數(shù)組。

import json
import pandas as pd
from pandas.io.json import json_normalize
with open('https://github.com/a9k00r/python-test/blob/master/raw_nyc_phil.json') as f:
	d = json.load(f)
# lets put the data into a pandas df
# clicking on raw_nyc_phil.json under "Input Files"
# tells us parent node is 'programs'
nycphil = json_normalize(d['programs'])
nycphil.head(3)

works_data = json_normalize(data = d['programs'],
							record_path ='works',
							meta =['id', 'orchestra', 'programID', 'season'])
works_data.head(3)

soloist_data = json_normalize(data = d['programs'],
							record_path =['works', 'soloists'],
							meta =['id'])
soloist_data.head(3)

將Pandas DataFrame導(dǎo)出到JSON文件

讓我們看看如何將Pandas DataFrame導(dǎo)出為JSON文件。要執(zhí)行此任務(wù)，我們將使用DataFrame.to_json（）和pandas.read_json（）函數(shù)。

示例1：

# importing the module
import pandas as pd
# creating a DataFrame
df = pd.DataFrame([['a', 'b', 'c'], ['d', 'e', 'f'], ['g', 'h', 'i']],
				index =['row 1', 'row 2', 'row3'],
				columns =['col 1', 'col 2', 'col3'])
# storing the data in JSON format
df.to_json('file.json', orient = 'split', compression = 'infer', index = 'true')
# reading the JSON file
df = pd.read_json('file.json', orient ='split', compression = 'infer')
# displaying the DataFrame
print(df)

我們可以看到DataFrame已經(jīng)導(dǎo)出為JSON文件。

示例2：

# importing the module
import pandas as pd
# creating a DataFrame
df = pd.DataFrame(data = [['15135', 'Alex', '25 / 4/2014'],
                   ['23515', 'Bob', '26 / 8/2018'],
                   ['31313', 'Martha', '18 / 1/2019'],
                   ['55665', 'Alen', '5 / 5/2020'],
                   ['63513', 'Maria', '9 / 12 / 2020']],
                  columns =['ID', 'NAME', 'DATE OF JOINING'])
# storing data in JSON format
df.to_json('file1.json', orient = 'split', compression = 'infer')
# reading the JSON file
df = pd.read_json('file1.json', orient ='split', compression = 'infer')
print(df)