“亂碼”是每個(gè)Python開發(fā)者，尤其是處理中文、日文等非ASCII字符時(shí)，都會(huì)遇到的“噩夢(mèng)”。明明代碼邏輯正確，文件也存在，但打印出來或保存的文件卻是一堆莫名其妙的符號(hào)（如éÂ\x87Â\x91éÂ\x9eÂ\x93）。

這篇文章將帶你徹底理解亂碼產(chǎn)生的根本原因，并提供一套行之有效的解決方案和最佳實(shí)踐。

一、亂碼的本質(zhì)：編碼與解碼的“雞同鴨講”

要理解亂碼，首先必須明白兩個(gè)核心概念：字符集（Charset） 和 字符編碼（Character Encoding）。

字符集（Charset）：是一個(gè)系統(tǒng)支持的所有抽象字符的集合。比如：

• ASCII：包含128個(gè)字符（英文字母、數(shù)字、符號(hào)），用1個(gè)字節(jié)（8位）表示。
• GBK/GB2312：中國國家標(biāo)準(zhǔn)，包含漢字、符號(hào)等，用1或2個(gè)字節(jié)表示。
• Unicode：一個(gè)超級(jí)字符集，包含了世界上幾乎所有語言的字符。它本身不是編碼，而是編碼的基礎(chǔ)。

字符編碼（Encoding）：是將字符集中的字符映射為二進(jìn)制數(shù)據(jù)（字節(jié)）的規(guī)則。Unicode字符集有多種實(shí)現(xiàn)編碼：

• UTF-8：變長編碼（1-4字節(jié)），兼容ASCII，是互聯(lián)網(wǎng)的事實(shí)標(biāo)準(zhǔn)。
• UTF-16：固定2或4字節(jié)。
• UTF-32：固定4字節(jié)。

亂碼產(chǎn)生的根本原因：編碼和解碼時(shí)使用了不同的規(guī)則。

（想象一個(gè)流程圖：字符 -> [編碼] -> 字節(jié) -> [解碼] -> 字符。如果編碼和解碼的規(guī)則不一致，就會(huì)得到錯(cuò)誤的字符）

舉個(gè)例子：
漢字“金”的Unicode碼點(diǎn)是 U+91D1。

• 用 UTF-8 編碼后，字節(jié)序列是：0xE9 0x87 0x91
• 用 GBK 編碼后，字節(jié)序列是：0xBD 0xF0

如果你用UTF-8編碼了“金”，得到 0xE9 0x87 0x91，但卻錯(cuò)誤地用GBK去解碼它，GBK會(huì)認(rèn)為 0xE9 是一個(gè)漢字的第一個(gè)字節(jié)，并嘗試尋找第二個(gè)字節(jié)，最終組合成一個(gè)完全不同的、甚至無效的字符，這就是亂碼。

二、Python中的亂碼重災(zāi)區(qū)與解決方案

Python 3在內(nèi)存中統(tǒng)一使用Unicode（準(zhǔn)確說是UCS-4/UTF-32的子集）來表示字符串，這大大減少了內(nèi)存中的亂碼問題。亂碼主要發(fā)生在“輸入/輸出”環(huán)節(jié)，即字節(jié)流（bytes）和字符串（str）轉(zhuǎn)換的邊界。

場(chǎng)景1：文件讀寫（最常見?。?/h3>

錯(cuò)誤示范：

# 寫入文件時(shí)未指定編碼（使用系統(tǒng)默認(rèn)編碼，Windows下通常是GBK）
with open('test.txt', 'w') as f:
    f.write('金') # 內(nèi)存中的Unicode '金' 被用系統(tǒng)編碼（如GBK）轉(zhuǎn)換為字節(jié)寫入

# 讀取文件時(shí)也未指定編碼
with open('test.txt', 'r') as f:
    content = f.read() # 文件中的GBK字節(jié)被用系統(tǒng)編碼（如GBK）解碼回Unicode，如果系統(tǒng)編碼變了或文件是UTF-8，就會(huì)亂碼

正確做法：始終顯式指定編碼（推薦UTF-8）

# 寫入
with open('test.txt', 'w', encoding='utf-8') as f:
    f.write('金') # 明確用UTF-8編碼

# 讀取
with open('test.txt', 'r', encoding='utf-8') as f:
    content = f.read() # 明確用UTF-8解碼

黃金法則：在打開文件時(shí)，永遠(yuǎn)加上 encoding='utf-8' 參數(shù)。

場(chǎng)景2：網(wǎng)絡(luò)請(qǐng)求（如requests庫）

網(wǎng)頁服務(wù)器會(huì)在HTTP響應(yīng)頭中通過 Content-Type 字段聲明編碼（如 charset=gb2312）。requests 庫會(huì)自動(dòng)猜測(cè)編碼，但有時(shí)會(huì)猜錯(cuò)。

錯(cuò)誤示范：

import requests
response = requests.get('http://example.com')
print(response.text) # requests庫自動(dòng)猜測(cè)編碼，可能猜錯(cuò)導(dǎo)致亂碼

正確做法：手動(dòng)修正編碼

import requests
response = requests.get('http://example.com')

# 方法1：直接修改編碼屬性（推薦）
response.encoding = 'utf-8' # 或者 'gbk', 'gb2312' 等，根據(jù)網(wǎng)頁源碼判斷
print(response.text)

# 方法2：使用內(nèi)容自動(dòng)檢測(cè)（需要chardet庫）
import chardet
detected_encoding = chardet.detect(response.content)['encoding']
response.encoding = detected_encoding
print(response.text)

場(chǎng)景3：終端/控制臺(tái)輸出

Python腳本在終端（CMD、PowerShell、Bash）中打印中文時(shí)出現(xiàn)亂碼，通常是因?yàn)榻K端的編碼與Python輸出的編碼不一致。

• Windows CMD：默認(rèn)編碼是GBK（代碼頁936）。
• 現(xiàn)代終端（Windows Terminal, VS Code終端）：通常支持UTF-8。

解決方案：

1. 統(tǒng)一終端編碼為UTF-8（推薦）：
   • 在Windows CMD中執(zhí)行：chcp 65001 （切換代碼頁到UTF-8）
   • 在PowerShell中：$OutputEncoding = [System.Text.Encoding]::UTF8
2. 在Python腳本中適配（不推薦，治標(biāo)不治本）：

import sys
import io
# 強(qiáng)制將stdout的編碼改為UTF-8
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
print('金')

場(chǎng)景4：Python源碼文件本身的編碼

如果你的 .py 文件中包含中文字符串（如注釋、字符串字面量），并且文件保存時(shí)用的編碼（如GBK）與Python解釋器讀取時(shí)用的編碼（默認(rèn)UTF-8）不一致，會(huì)導(dǎo)致 SyntaxError 或亂碼。

解決方案：

1. 在文件開頭添加編碼聲明（Python2必需，Python3推薦）：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

1. 確保你的代碼編輯器（如VSCode, PyCharm）將文件保存為UTF-8編碼。這是最根本的解決方法。

三、排查亂碼的神器

chardet 庫：檢測(cè)未知字節(jié)數(shù)據(jù)的編碼。

pip install chardet

import chardet
with open('unknown_encoding.txt', 'rb') as f: # 注意用'rb'二進(jìn)制模式讀取
    raw_data = f.read()
    result = chardet.detect(raw_data)
    print(result) # 輸出：{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

在線編碼轉(zhuǎn)換工具：如 Base64/Hex/UTF-8轉(zhuǎn)換工具，可以手動(dòng)粘貼字節(jié)流進(jìn)行轉(zhuǎn)換測(cè)試。

四、總結(jié)與最佳實(shí)踐

1. 黃金法則：顯式優(yōu)于隱式。在任何涉及字節(jié)流和字符串轉(zhuǎn)換的地方（文件、網(wǎng)絡(luò)、數(shù)據(jù)庫），都明確指定編碼，首選 utf-8。
2. 統(tǒng)一標(biāo)準(zhǔn)：整個(gè)項(xiàng)目（源碼文件、數(shù)據(jù)文件、數(shù)據(jù)庫、網(wǎng)頁）盡量統(tǒng)一使用 UTF-8 編碼，從根源上避免轉(zhuǎn)換錯(cuò)誤。
3. 理解流程：時(shí)刻清醒地認(rèn)識(shí)到數(shù)據(jù)在“內(nèi)存（Unicode）”和“外部（字節(jié)流）”之間的轉(zhuǎn)換過程，確保兩端使用相同的“密碼本”（編碼）。
4. 使用二進(jìn)制模式：當(dāng)你不確定編碼，或者需要處理原始字節(jié)時(shí)，先用 'rb' 模式讀取文件，得到 bytes 對(duì)象后再進(jìn)行解碼。

遵循以上原則，你就能告別亂碼煩惱，讓你的Python程序在處理多語言文本時(shí)游刃有余。記住，亂碼不是Bug，而是編碼和解碼規(guī)則不匹配的必然結(jié)果——解決它的關(guān)鍵就在于明確規(guī)則。

以上就是Python文本亂碼根本原因和解決方案的詳細(xì)內(nèi)容，更多關(guān)于Python文本亂碼原因和解決的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論