什么是編碼和解碼

大家都知道計算機是二進制的世界，計算機系統(tǒng)只能識別數(shù)字0和1組成的一串串的數(shù)字。1位數(shù)字代表1個比特（bit），每8個比特代表1個字節(jié)（byte），那么1個字節(jié)如果都為數(shù)字1，如11111111，代表的最大數(shù)字是255。

如果是2 個字節(jié)最大可以表示為 65535，4 個字節(jié)最大表示為4294967295。

每一種不同的數(shù)字0和1的組合，就可以代表一個字符?；谏鲜鲈沓霈F(xiàn)了各種編碼格式：

ASCII 編碼

ASCII（American Standard Code for Information Interchange，美國信息交換標(biāo)準(zhǔn)代碼）字符集是一個基于拉丁字母的字符編碼系統(tǒng)，它主要用于顯示現(xiàn)代英語和其他西歐語言。ASCII字符集共定義了128個字符，每個字符都有一個對應(yīng)的數(shù)字，這個數(shù)字被稱為碼點（code point）。可最大擴展為 256 個字符，僅支持英文字母，數(shù)字和少部分符號，不支持中文。

以下是ASCII字符集中一些常見的字符及其對應(yīng)的數(shù)字（碼點）：

• 空字符（Null）：0
• 控制字符（如LF、CR、FF、DEL等）：1-31（共31個）
• 數(shù)字0-9：48-57
• 大寫英文字母A-Z：65-90
• 小寫英文字母a-z：97-122
• 標(biāo)點符號、運算符號等：其他碼點（如33表示"!"，34表示"""等）
• 刪除字符（DEL）：127

GBK 編碼

中國文字博大精深，漢字特別多，其他編碼格式并不能滿足要求，所以才有了適合中文編解碼的 GB2312。編碼（后來升級到了 GBK 編碼），可以容納將近7000個漢字。

Unicode

世界上除了英文/中文等還有各個國家的文字語言，每個國家的編碼不統(tǒng)一會帶來很多編解碼的困難，后來Unicode 字符集就出現(xiàn)了，它將所有的語言都容納在一起，后續(xù)為了在存儲和傳輸數(shù)據(jù)時節(jié)省空間，出現(xiàn)了目前常用的UTF8編碼。

編解碼基本原理

平常工作中，我們通過鍵盤輸入英文字符或者中文字符或者一些逗號等符號，程序通過編碼將字符轉(zhuǎn)為計算機識別的2進制字節(jié)流，當(dāng)計算機處理完成后再通過解碼轉(zhuǎn)為我們能識別的字符。

python的默認(rèn)編碼

安裝完python3版本的程序后，我們通過sys庫，檢查下默認(rèn)的編碼。

import sys
print(sys.getdefaultencoding())

結(jié)果：

utf-8

因為utf-8本來就支持中文，所以我們可直接在python3版本上定義中文變量并直接使用，而不會出現(xiàn)亂碼問題。

什么是10進制/2進制/8進制/16進制

python中可通過bin(),oct(),hex()函數(shù)依次將十進制數(shù)轉(zhuǎn)換為2進制,8進制,16進制。

#定義數(shù)字10
dig1 = 10
 
#轉(zhuǎn)為2進制
bin_dig1 = bin(dig1)
print(f'十進制 數(shù)字10 轉(zhuǎn)為2進制為：{bin_dig1}')
 
#轉(zhuǎn)為8進制
oct_dig1 = oct(dig1)
print(f'十進制 數(shù)字10 轉(zhuǎn)為8進制為：{oct_dig1}')
 
#轉(zhuǎn)為16進制
hex_dig1 = hex(dig1)
print(f'十進制 數(shù)字10 轉(zhuǎn)為16進制為：{hex_dig1}')

結(jié)果：

十進制 數(shù)字10 轉(zhuǎn)為2進制為：0b1010
十進制 數(shù)字10 轉(zhuǎn)為8進制為：0o12
十進制 數(shù)字10 轉(zhuǎn)為16進制為：0xa

同理2進制，8進制和16進制可通過int()函數(shù)轉(zhuǎn)為10進制。

print(f'2進制 數(shù)字10 轉(zhuǎn)為10進制為：{int(bin_dig1,base=2)}')
print(f'8進制 數(shù)字10 轉(zhuǎn)為10進制為：{int(oct_dig1,base=8)}')
print(f'16進制 數(shù)字10 轉(zhuǎn)為10進制為：{int(hex_dig1,base=16)}')

結(jié)果：

2進制 數(shù)字10 轉(zhuǎn)為10進制為：10
8進制 數(shù)字10 轉(zhuǎn)為10進制為：10
16進制 數(shù)字10 轉(zhuǎn)為10進制為：10

python的字符串編解碼

使用str.encode()編碼 ，str.decode()解碼

userinfo = '章三'

以 encoding 指定的編碼格式編碼 string，  默認(rèn)會使用‘utf-8’編碼，所以encoding='utf-8'這個參數(shù)可以不帶； 如果采用其他編碼格式，需要帶上encoding參數(shù)。

userinfo_byte = userinfo.encode(encoding='utf-8')
print(userinfo_byte)
#結(jié)果顯示被編碼為 前綴帶字母b的字節(jié)碼
b'\xe7\xab\xa0\xe4\xb8\x89'

編碼后字符串類型為bytes，輸出的是16進制的字節(jié)碼，而且1個中文字占了3個字節(jié)

print(type(userinfo_byte))
<class 'bytes'>

通過decode函數(shù)解碼字節(jié)碼為字符串。

print(userinfo_byte.decode())
章三

再舉個例子： 比如我們在http請求拿到的響應(yīng)中，body體為'sdsdsdsdsdAAAAA10000000-s\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0\xe4\xb8\xad\xe5\x9b\xbd'，像這種既有字母符號 又有一些十六進制的字符，一般都是編碼后的字節(jié)碼（因為英文字母/符號本身就支持ASCII碼，轉(zhuǎn)碼后也會保留原樣子）。 此時我們在這些字符串加上字母b的前綴，然后用decode函數(shù)節(jié)碼就得到原字符串

str_b = b'sdsdsdsdsdAAAAA10000000-s\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0\xe4\xb8\xad\xe5\x9b\xbd'
print(str_b.decode())

解碼后打印結(jié)果：

sdsdsdsdsdAAAAA10000000-s我愛你中國

解碼的亂碼問題

如果編碼和解碼使用的編碼不一樣，解碼后會出現(xiàn)亂碼。 比如下面的示例將中文通過utf-8編碼，然后通過gbk解碼

使用bytes()函數(shù)定義編碼格式為utf-8的字節(jié)碼，解碼使用gbk編碼

zhongwen = bytes('章三',encoding='utf-8')
print(zhongwen.decode(encoding='gbk'))

打印結(jié)果時出現(xiàn)亂碼：

绔犱笁

所以我們在平時使用時一般都是統(tǒng)一編碼格式，目前使用的都是默認(rèn)編碼utf-8。

16進制字符串解碼為普通字符串

以上中文“章三”編碼輸出的16進制為b'\xe7\xab\xa0\xe4\xb8\x89'可通過str.decode().hex()函數(shù)轉(zhuǎn)為16進制字符串：“e7aba0e4b889”

然后使用codecs.decode() 或者bytes.fromhex()或者binascii.unhexlify()方法將16進制的字符串解碼為普通字符串。

codecs.decode()

import codecs
hex_str = "e7aba0e4b889"
str_result = codecs.decode(hex_str, "hex").decode("utf-8")
print(str_result)
章三

binascii.unhexlify()

import binascii
byte_str = binascii.unhexlify(hex_str)
str_result = byte_str.decode("utf-8")
print(str_result)

bytes.fromhex()

byte_str = bytes.fromhex(hex_str)
str_result = byte_str.decode("utf-8")
print(str_result)

python字符串和unicode類型編碼轉(zhuǎn)換

char = "章三"
char.encode(encoding='unicode_escape')

通過unicode_escape編碼為unicode類型，結(jié)果如下：

b'\\u7ae0\\u4e09'

unicode字節(jié)碼以\\u的前綴表示，unicode編碼中每個中文占2個字節(jié)（跟utf8編碼不同，utf8編碼占用3個字節(jié)），7ae0和4e09表示的是16進制，16進制轉(zhuǎn)為10進制數(shù)分別是31456，19977

print(f'16進制 7ae0 轉(zhuǎn)為10進制為：{int("7ae0",base=16)}')
print(f'16進制 4e09 轉(zhuǎn)為10進制為：{int("4e09",base=16)}')

結(jié)果：

16進制 7ae0 轉(zhuǎn)為10進制為：31456
16進制 4e09 轉(zhuǎn)為10進制為：19977

通過chr函數(shù)可以解析出某數(shù)字對應(yīng)的unicode字符

print(f'16進制 7ae0 轉(zhuǎn)為10進制 通過chr函數(shù)獲取對應(yīng)數(shù)字的字符：{chr(int("7ae0",base=16))}')
print(f'16進制 4e09 轉(zhuǎn)為10進制 通過chr函數(shù)獲取對應(yīng)數(shù)字的字符：{chr(int("4e09",base=16))}')

結(jié)果： 可以反推出我們字符串定義的“章三”兩個漢字。

16進制 7ae0 轉(zhuǎn)為10進制 通過chr函數(shù)獲取對應(yīng)數(shù)字的字符：章
16進制 4e09 轉(zhuǎn)為10進制 通過chr函數(shù)獲取對應(yīng)數(shù)字的字符：三

通過ord()函數(shù)可以直接得出unicode字符對應(yīng)的編碼中的數(shù)字

print(f'漢字 章 對應(yīng)的unicode編碼中的數(shù)字是 {ord("章")}')
print(f'漢字 三 對應(yīng)的unicode編碼中的數(shù)字是 {ord("三")}')

結(jié)果：

漢字 章 對應(yīng)的unicode編碼中的數(shù)字是 31456
漢字 三 對應(yīng)的unicode編碼中的數(shù)字是 19977

到此這篇關(guān)于一文帶你了解Python中的編碼和解碼的文章就介紹到這了,更多相關(guān)Python編碼和解碼內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論