本文實(shí)例講述了python實(shí)現(xiàn)unicode轉(zhuǎn)中文及轉(zhuǎn)換默認(rèn)編碼的方法。分享給大家供大家參考，具體如下：

一、在爬蟲抓取網(wǎng)頁(yè)信息時(shí)常需要將類似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"轉(zhuǎn)換為中文，實(shí)際上這是unicode的中文編碼。可用以下方法轉(zhuǎn)換：

1、

>>> s = u'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> print s
人生苦短，py是岸

2、

>>> s = r'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> s = s.decode('unicode_escape')
>>> print s
人生苦短，py是岸

二、另外，在python2的字符編碼問(wèn)題時(shí)常會(huì)遇到“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)”的編碼錯(cuò)誤。

而用以下方法通?？梢越鉀Q：

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

此方法是將Python2的默認(rèn)編碼ASCII改為 utf-8。但此方法不是一勞永逸的，可能會(huì)使一些代碼的行為變得怪異。

關(guān)于sys.setdefaultencoding('utf-8')的補(bǔ)充：

sys.setdefaultencoding('utf-8') 會(huì)導(dǎo)致的兩個(gè)大問(wèn)題

簡(jiǎn)單來(lái)說(shuō)這么做將會(huì)使得一些代碼行為變得怪異，而這怪異還不好修復(fù)，以一個(gè)不可見的 bug 存在著。下面我們舉兩個(gè)例子。

1. 編碼錯(cuò)誤

import chardet
def print_string(string):
  try:
    print(u"%s" % string)
  except UnicodeError:
    print u"%s" % unicode(byte_string, encoding=chardet.detect(string)['encoding'])
print_string(u"þ".encode("latin-1"))
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('þ'))

輸出：

$~ þ
$~ þ

在上面的代碼中，默認(rèn)的 ascii 編碼無(wú)法解碼，þ latin-1 編碼 hex 表示是 c3 be ，顯然是超出了只有128個(gè)字符的 ascii 碼集的，引發(fā) UnicodeError 異常，進(jìn)入異常處理。異常處理則會(huì)根據(jù)編碼探測(cè)，用最可能的編碼來(lái)解碼，會(huì)比較靠譜地輸出 þ 。

而一旦我們將 defaultencoding 設(shè)置為 utf-8，因?yàn)?utf-8 的字符范圍是完全覆蓋 latin-1，因此，會(huì)直接使用 utf-8 進(jìn)行解碼。c3 be 在 utf-8 中，是 þ。于是我們打印出了完全不同的字符。

可能你們會(huì)說(shuō)我們不會(huì)寫這樣的代碼。如果我們寫了也會(huì)做修正。但如果是第三方庫(kù)這么寫了呢？項(xiàng)目依賴的第三方庫(kù)就這么 bug 了。如果你不依賴第三方庫(kù)，那么下面這個(gè) bug，還是逃不過(guò)。

2. dictionray 行為異常

假設(shè)我們要從一個(gè) dictionary 里查找一個(gè) key 是否存在，通常來(lái)說(shuō)，有兩種可行方法。

#-*- coding: utf-8 -*-
d = {1:2, '1':'2', '你好': 'hello'}
def key_in_dict(key)
  if key in d:
    return True
  return False
def key_found_in_dict(key):
  for _key in d:
    if _key == key:
      return True
  return False

我們對(duì)比下改變系統(tǒng)默認(rèn)編碼前后這倆函數(shù)的輸出有什么不同。

#-*- coding: utf-8 -*-
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))
print('------utf-8------')
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))

輸出：

$~ True
$~ True
$~ False
$~ False
$~ ------utf-8------
$~ True
$~ True
$~ False
$~ True

可以看到，當(dāng)默認(rèn)編碼改了之后，兩個(gè)函數(shù)的輸出不再一致。

dict 的 in 操作符將鍵做哈希，并比較哈希值判斷是否相等。對(duì)于 ascii 集合內(nèi)的字符來(lái)說(shuō)，不管是字節(jié)字符類型還是還是 unicode 類型，其哈希值是一樣的，如 u'1' in {'1':1} 會(huì)返回 True，而超出 ascii 碼集的字符，如上例中的 '你好'，它的字節(jié)字符類型的哈希與 unicode 類型的哈希是不一樣的。

而 == 操作符則是做了一次轉(zhuǎn)換，將字節(jié)字符（byte string，上面的 '你好'）轉(zhuǎn)換成 unicode（u'你好'） 類型，然后對(duì)轉(zhuǎn)換后的結(jié)果做比較。在 ascii 系統(tǒng)默認(rèn)編碼中，'你好'轉(zhuǎn)換成 Unicode 會(huì)產(chǎn)生 Warning: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal，因?yàn)槌龃a集無(wú)法轉(zhuǎn)換，系統(tǒng)會(huì)默認(rèn)其不相等。當(dāng)系統(tǒng)編碼被我們手動(dòng)改為 utf-8 后，這個(gè)禁忌則被解除，'你好' 能夠順利被轉(zhuǎn)換成 unicode，最后的結(jié)果就是，in 和 == 行為不再一致。

問(wèn)題的根源：Python2 中的 string

Python 為了讓其語(yǔ)法看上去簡(jiǎn)潔好用，做了很多 tricky 的事情，混淆 byte string 和 text string 就是其中一例。

在 Python 里，有三大類 string 類型，unicode（text string），str（byte string，二進(jìn)制數(shù)據(jù)），basestring，是前兩者的父類。

其實(shí)，在語(yǔ)言設(shè)計(jì)領(lǐng)域，一串字節(jié)（sequences of bytes）是否應(yīng)該當(dāng)做字符串（string）一直是存在爭(zhēng)議的。我們熟知的 Java 和 C# 投了反對(duì)票，而 Python 則站在了支持者的陣營(yíng)里。其實(shí)我們?cè)诤芏嗲闆r下，給文本做的操作，比如正則匹配、字符替換等，對(duì)于字節(jié)來(lái)說(shuō)是用不著的。而 Python 認(rèn)為字節(jié)就是字符，所以他們倆的操作集合是一致的。

然后進(jìn)一步的，Python 會(huì)在必要的情況下，嘗試對(duì)字節(jié)做自動(dòng)類型轉(zhuǎn)換，例如，在上文中的 ==，或者字節(jié)和文本拼接時(shí)。如果沒(méi)有一個(gè)編碼（encoding），兩個(gè)不同類型之間的轉(zhuǎn)換是無(wú)法進(jìn)行的，于是，Python 需要一個(gè)默認(rèn)編碼。在 Python2 誕生的年代，ASCII 是最流行的（可以這么說(shuō)吧），于是 Python2 選擇了 ASCII。然而，眾所周知，在需要需要轉(zhuǎn)換的場(chǎng)景，ASCII 都是沒(méi)用的（128個(gè)字符，夠什么吃）。

在歷經(jīng)這么多年吐槽后，Python 3 終于學(xué)乖了。默認(rèn)編碼是 Unicode，這也就意味著，做所有需要轉(zhuǎn)換的場(chǎng)合，都能正確并成功的轉(zhuǎn)換。

最佳實(shí)踐

說(shuō)了這么多，如果不遷移到 Python 3，能怎么做呢？

有這么幾個(gè)建議：

所有 text string 都應(yīng)該是 unicode 類型，而不是 str，如果你在操作 text，而類型卻是 str，那就是在制造 bug。

在需要轉(zhuǎn)換的時(shí)候，顯式轉(zhuǎn)換。從字節(jié)解碼成文本，用 var.decode(encoding)，從文本編碼成字節(jié)，用 var.encode(encoding)。

從外部讀取數(shù)據(jù)時(shí)，默認(rèn)它是字節(jié)，然后 decode 成需要的文本；同樣的，當(dāng)需要向外部發(fā)送文本時(shí)，encode 成字節(jié)再發(fā)送。

PS：這里再為大家提供幾款Unicode編碼轉(zhuǎn)換操作相關(guān)工具供大家參考使用：

在線Unicode/中文轉(zhuǎn)換工具：
http://tools.jb51.net/transcoding/unicode_chinese

Native/Unicode在線編碼轉(zhuǎn)換工具：
http://tools.jb51.net/transcoding/native2unicode

在線中文漢字/ASCII碼/Unicode編碼互相轉(zhuǎn)換工具：
http://tools.jb51.net/transcoding/chinese2unicode

更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《Python編碼操作技巧總結(jié)》、《Python圖片操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python Socket編程技巧總結(jié)》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

最新評(píng)論