Python序列化與反序列

在程序運(yùn)行的過(guò)程中，所有的變量都是在內(nèi)存中，比如，定義一個(gè) dict：

d = dict(name='Bob', age=20, score=88)

可以隨時(shí)修改變量，比如把 name 改成 ‘Bill'，但是一旦程序結(jié)束，變量所占用的內(nèi)存就被操作系統(tǒng)全部回收。如果沒(méi)有把修改后的 ‘Bill' 存儲(chǔ)到磁盤上，下次重新運(yùn)行程序，變量又被初始化為 ‘Bob'。

我們把變量從內(nèi)存中變成可存儲(chǔ)或傳輸?shù)倪^(guò)程稱之為序列化，在 Python 中叫 pickling，在其他語(yǔ)言中也被稱之為 serialization，marshalling，flattening 等等，都是一個(gè)意思。
​序列化之后，就可以把序列化后的內(nèi)容寫入磁盤，或者通過(guò)網(wǎng)絡(luò)傳輸?shù)絼e的機(jī)器上。

​

反過(guò)來(lái)，把變量?jī)?nèi)容從序列化的對(duì)象重新讀到內(nèi)存里稱之為反序列化，即 unpickling。

Python 提供了 pickle 模塊來(lái)實(shí)現(xiàn)序列化。首先，我們嘗試把一個(gè)對(duì)象序列化并寫入文件：

In [1]: import pickle

In [2]: d = dict(name='Bob', age=20, score=88)

In [3]: pickle.dumps(d)
Out[3]: b'\x80\x04\x95$\x00\x00\x00\x00\x00\x00\x00}\x94(\x8c\x04name\x94\x8c\x03Bob\x94\x8c\x03age\x94K\x14\x8c\x05score\x94KXu.'

pickle.dumps() 方法把任意對(duì)象序列化成一個(gè) bytes，然后，就可以把這個(gè) bytes 寫入文件。或者用另一個(gè)方法 pickle.dump() 直接把對(duì)象序列化后寫入一個(gè) file-like Object：

In [5]: f = open('dump.txt', 'wb')

In [6]: d = dict(name='Bob', age=20, score=88)

In [7]: pickle.dump(d, f)

In [8]: f.close()

看看寫入的 dump.txt 文件，一堆亂七八糟的內(nèi)容，這些都是 Python 保存的對(duì)象內(nèi)部信息。

當(dāng)我們要把對(duì)象從磁盤讀到內(nèi)存時(shí)，可以先把內(nèi)容讀到一個(gè) bytes，然后用 pickle.loads() 方法反序列化出對(duì)象，也可以直接用 pickle.load() 方法從一個(gè) file-like Object 中直接反序列化出對(duì)象。我們打開另一個(gè) Python 命令行來(lái)反序列化剛才保存的對(duì)象：

In [23]: f = open('dump.txt', 'rb')

In [24]: d = pickle.load(f)

In [25]: f.close()

In [26]: d
Out[26]: {'name': 'Bob', 'age': 20, 'score': 88}

變量的內(nèi)容又回來(lái)了！

當(dāng)然，這個(gè)變量和原來(lái)的變量是完全不相干的對(duì)象，它們只是內(nèi)容相同而已。

Pickle 的問(wèn)題和所有其他編程語(yǔ)言特有的序列化問(wèn)題一樣，就是它只能用于 Python，并且可能不同版本的 Python 彼此都不兼容，因此，只能用 Pickle 保存那些不重要的數(shù)據(jù)，不能成功地反序列化也沒(méi)關(guān)系。

JSON

如果我們要在不同的編程語(yǔ)言之間傳遞對(duì)象，就必須把對(duì)象序列化為標(biāo)準(zhǔn)格式，比如 XML，但更好的方法是序列化為 JSON，因?yàn)?JSON 表示出來(lái)就是一個(gè)字符串，可以被所有語(yǔ)言讀取，也可以方便地存儲(chǔ)到磁盤或者通過(guò)網(wǎng)絡(luò)傳輸。JSON 不僅是標(biāo)準(zhǔn)格式，并且比 XML 更快，而且可以直接在 Web 頁(yè)面中讀取，非常方便。
​

JSON 表示的對(duì)象就是標(biāo)準(zhǔn)的 JavaScript 語(yǔ)言的對(duì)象，JSON 和 Python 內(nèi)置的數(shù)據(jù)類型對(duì)應(yīng)如下：

Python 內(nèi)置的 json 模塊提供了非常完善的 Python 對(duì)象到 JSON 格式的轉(zhuǎn)換。我們先看看如何把 Python對(duì)象變成一個(gè) JSON：

In [27]: import json

In [28]: d = dict(name='Bob', age=20, score=88)

In [29]: json.dumps(d)
Out[29]: '{"name": "Bob", "age": 20, "score": 88}'

In [30]: type(json.dumps(d))
Out[30]: str

dumps() 方法返回一個(gè) str，內(nèi)容就是標(biāo)準(zhǔn)的 JSON。類似的，dump() 方法可以直接把 JSON 寫入一個(gè) file-like Object。

要把 JSON 反序列化為 Python 對(duì)象，用 loads() 或者對(duì)應(yīng)的 load() 方法，前者把 JSON 的字符串反序列化，后者從 file-like Object 中讀取字符串并反序列化：

In [31]: json_str = '{"age": 20, "score": 88, "name": "Bob"}'

In [32]: json.loads(json_str)
Out[32]: {'age': 20, 'score': 88, 'name': 'Bob'}

In [33]: type(json.loads(json_str))
Out[33]: dict

由于 JSON 標(biāo)準(zhǔn)規(guī)定 JSON 編碼是 UTF-8，所以我們總是能正確地在 Python 的 str 與 JSON 的字符串之間轉(zhuǎn)換。

JSON 進(jìn)階

Python 的 dict 對(duì)象可以直接序列化為 JSON 的 {}，不過(guò)，很多時(shí)候，我們更喜歡用 class . 表示對(duì)象，比如定義 Student 類，然后序列化：

import json

class Student(object):
    def __init__(self, name, age, score):
        self.name = name
        self.age = age
        self.score = score

s = Student('Bob', 20, 88)
print(json.dumps(s))

運(yùn)行代碼，毫不留情地得到一個(gè) TypeError：

Traceback (most recent call last):
  ...
TypeError: Object of type Student is not JSON serializable

錯(cuò)誤的原因是 Student 對(duì)象不是一個(gè)可序列化為 JSON 的對(duì)象。

如果連 class 的實(shí)例對(duì)象都無(wú)法序列化為 JSON，這肯定不合理！

別急，我們仔細(xì)看看 dumps() 方法的參數(shù)列表，可以發(fā)現(xiàn)，除了第一個(gè)必須的 obj 參數(shù)外，dumps() 方法還提供了一大堆的可選參數(shù)：https://docs.python.org/3/library/json.html#json.dumps

這些可選參數(shù)就是讓我們來(lái)定制 JSON 序列化。前面的代碼之所以無(wú)法把 Student 類實(shí)例序列化為 JSON，是因?yàn)槟J(rèn)情況下，dumps() 方法不知道如何將 Student 實(shí)例變?yōu)橐粋€(gè) JSON 的 {} 對(duì)象。

可選參數(shù) default 就是把任意一個(gè)對(duì)象變成一個(gè)可序列為 JSON 的對(duì)象，我們只需要為 Student 專門寫一個(gè)轉(zhuǎn)換函數(shù)，再把函數(shù)傳進(jìn)去即可：

In [40]: s.name
Out[40]: 'Bob'

In [41]: s.age
Out[41]: 20

In [42]: s.score
Out[42]: 88

def student2dict(std):
    return {
        'name': std.name,
        'age': std.age,
        'score': std.score
    }

這樣，Student 實(shí)例首先被 student2dict() 函數(shù)轉(zhuǎn)換成 dict，然后再被順利序列化為 JSON：

print(json.dumps(s, default=student2dict))

不過(guò)，下次如果遇到一個(gè) Teacher 類的實(shí)例，照樣無(wú)法序列化為 JSON。再寫一個(gè)函數(shù) 也可以，但是我們可以偷個(gè)懶，把任意 class 的實(shí)例變?yōu)?dict：

print(json.dumps(s, default=lambda obj: obj.__dict__))

因?yàn)橥ǔ?class 的實(shí)例都有一個(gè) __dict__ 屬性，它就是一個(gè) dict，用來(lái)存儲(chǔ)實(shí)例變量。也有少數(shù)例外，比如定義了 __slots__ 的 class。

同樣的道理，如果我們要把 JSON 反序列化為一個(gè) Student 對(duì)象實(shí)例，loads() 方法首先轉(zhuǎn)換出一個(gè) dict 對(duì)象，然后，我們傳入的 object_hook 函數(shù)負(fù)責(zé)把 dict 轉(zhuǎn)換為 Student 實(shí)例：

def dict2student(d):
    return Student(d['name'], d['age'], d['score'])

運(yùn)行結(jié)果如下：

In [48]: json_str = '{"age": 20, "score": 88, "name": "Bob"}'

In [49]: def dict2student(d):
    ...:     return Student(d['name'], d['age'], d['score'])
    ...:

In [50]: print(json.loads(json_str, object_hook=dict2student))
<__main__.Student object at 0x1065c6f70>

打印出的是反序列化的 Student 實(shí)例對(duì)象。

練習(xí)

對(duì)中文進(jìn)行 JSON 序列化時(shí)，json.dumps() 提供了一個(gè) ensure_ascii 參數(shù)，觀察該參數(shù)對(duì)結(jié)果的影響：

import json

obj = dict(name='小明', age=20)
s = json.dumps(obj, ensure_ascii=True)
print(s)

小結(jié)

Python 語(yǔ)言特定的序列化模塊是pickle，但如果要把序列化搞得更通用、更符合 Web 標(biāo)準(zhǔn)，就可以使用 json 模塊。

json 模塊的 dumps() 和 loads() 函數(shù)是定義得非常好的接口的典范。當(dāng)我們使用時(shí)，只需要傳入一個(gè)必須的參數(shù)。但是，當(dāng)默認(rèn)的序列化或反序列機(jī)制不滿足我們的要求時(shí)，我們又可以傳入更多的參數(shù)來(lái)定制序列化或反序列化的規(guī)則，既做到了接口簡(jiǎn)單易用，又做到了充分的擴(kuò)展性和靈活性。

到此這篇關(guān)于Python序列化與反序列化相關(guān)知識(shí)總結(jié)的文章就介紹到這了,更多相關(guān)Python序列化與反序列內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論