一、Python字符編碼介紹

1、須知：

在python 2中默認(rèn)編碼是 ASCII，而在python 3中默認(rèn)編碼是 unicode

unicode 分為utf-32 (占4個(gè)字節(jié)),utf-16(占兩個(gè)字節(jié))，utf-8(占1-4個(gè)字節(jié))，所以u(píng)tf-16 是最常用的unicode版本，但是在文件里存的還是utf-8，因?yàn)閡tf8省空間

在python 3,encode編碼的同時(shí)會(huì)把stringl變成bytes類型，decode解碼的同時(shí)會(huì)把bytes類型變成string類型

在unicode編碼中 1個(gè)中文字符=2個(gè)字節(jié)，1個(gè)英文字符 = 1個(gè)字節(jié)，切記：ASCII是不能存中文字符的

utf-8是可變長(zhǎng)字符編碼,它是unicode的優(yōu)化，所有的英文字符依然按ASCII形式存儲(chǔ)，所有的中文字符統(tǒng)一是3個(gè)字節(jié)

unicode包含了所有國(guó)家的字符編碼，不同字符編碼之間的轉(zhuǎn)換都需要經(jīng)過(guò)unicode的過(guò)程

python本身的默認(rèn)編碼是utf-8

2、py2中的編碼和轉(zhuǎn)碼的過(guò)程，如圖：

注：因?yàn)閡nicode是中間編碼，任何字符編碼之前的轉(zhuǎn)換都必須解碼成unicode，在編碼成需要轉(zhuǎn)的字符編碼

二、字符編碼的轉(zhuǎn)換

1、py2字符編碼的轉(zhuǎn)換，代碼如下：

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
 
s = "我是學(xué)員"
#utf-8解碼成unicode編碼
s_to_unicode = s.decode("utf-8")
print("--------s_to_unicode-----")
print(s_to_unicode)
#然后unicode再編碼成gbk
s_to_gbk = s_to_unicode.encode("gbk")
print("-----s_to_gbk------")
print(s_to_gbk)
#gbk解碼成unicode再編碼成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("------gbk_to_utf8-----")
print(gbk_to_utf8)
 
#輸出
--------s_to_unicode-----
我是學(xué)員
-----s_to_gbk------
�����˧
------gbk_to_utf8-----
我是學(xué)員

 注：以上這種情況適合字符是非unicode編碼請(qǐng)款下，但是如果字符編碼已經(jīng)是Unicode的了咋辦呢？廣告回來(lái)，更加精彩。。。。。

2、字符編碼已經(jīng)是unicode情況下，代碼如下：

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
 
#u代碼字符編碼是unicode
s = u'你好'
#已經(jīng)是unicode，所以這邊直接是編碼成gbk
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#這邊再解碼成unicode然后再編碼成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
#輸出
----s_to_gbk----
���
-----gbk_to_utf8---
你好

注：在python2中，在文件的開(kāi)頭指定字符編碼，是要告訴解釋器我現(xiàn)在的字符編碼使用的是utf-8，那我在打印的中文時(shí)候，那么在utf-8中包含中文字符，那么可以打印出來(lái)。那么如果你不制定字符編碼，默認(rèn)使用系統(tǒng)編碼，如果你的系統(tǒng)編碼是ASCII，那么就會(huì)報(bào)錯(cuò)，因?yàn)锳SCII不能存中文字符。

3、py3的字符編碼轉(zhuǎn)換

在須知中已經(jīng)說(shuō)到python 3的編碼，默認(rèn)是unicode，所以字符編碼之間的轉(zhuǎn)換不需要decode過(guò)程，直接encode即可，代碼如下：

#! /usr/bin/env python
# __auther__ == luoahong
#無(wú)需聲明字符編碼，當(dāng)然你聲明也不會(huì)報(bào)錯(cuò)
 
s = '你好'
# 字符串s已經(jīng)是unicode編碼，無(wú)需decode,直接encode
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#這邊還是一樣，gbk需要先解碼成unicode，再編碼成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
#解碼成unicode字符編碼
utf8_decode = gbk_to_utf8.decode("utf-8")
print("-------utf8_decode----")
print(utf8_decode)
 
#輸出
----s_to_gbk----
b'\xc4\xe3\xba\xc3'
-----gbk_to_utf8---
b'\xe4\xbd\xa0\xe5\xa5\xbd'
-------utf8_decode----
你好

 注：在python 3,encode編碼的同時(shí)會(huì)把stringl變成bytes類型，decode解碼的同時(shí)會(huì)把bytes類型變成string類型，所以你就不難看出encode后的把它變成了一個(gè)bytes類型的數(shù)據(jù)。還有需要特別注意的是：不管是否在python 3的文件開(kāi)頭申明字符編碼，只能表示，這個(gè)python文件是這個(gè)字符編碼，文件中的字符串還是unicode，如下圖：

三、總結(jié)：

1、uniocode能識(shí)別所有字符編碼的字符串

2、在python 2中，字符編碼之間的轉(zhuǎn)化需要通過(guò)unicode才能轉(zhuǎn)換，所以打印時(shí)，可以是使用unicode，也可以使用對(duì)應(yīng)的字符編碼(文件開(kāi)頭指定編碼)，打印字符或者字符串，因?yàn)閜y2中沒(méi)有對(duì)字符和字節(jié)做明顯區(qū)分，       所以才混導(dǎo)致這樣的結(jié)果。

3、在python 3中，只有通過(guò)Unicode去識(shí)別字符的，如果轉(zhuǎn)成編碼成對(duì)應(yīng)編碼格式了，就直接變成對(duì)應(yīng)編碼的bytes類型的字節(jié)碼，也就是二進(jìn)制，需要識(shí)別，必須解碼成Unicode才能識(shí)別

更多關(guān)于Python字符編碼轉(zhuǎn)碼問(wèn)題請(qǐng)查看下面的相關(guān)鏈接

最新評(píng)論