快捷導(dǎo)航

python字符串編碼識(shí)別模塊chardet簡(jiǎn)單應(yīng)用

更新時(shí)間：2015年06月15日 08:55:26 投稿：hebedich

有時(shí)候需要先檢測(cè)一個(gè)文件的編碼，然后將其轉(zhuǎn)化為另一種編碼。這時(shí)候就會(huì)用到chardet（chardet是python的一個(gè)第三方庫(kù)，是非常優(yōu)秀的編碼識(shí)別模塊）

python的字符串編碼識(shí)別模塊（第三方庫(kù)）：

官方地址： http://pypi.python.org/pypi/chardet

 
import chardet
import urllib
 
# 可根據(jù)需要，選擇不同的數(shù)據(jù)
TestData = urllib.urlopen('http://www.baidu.com/').read()
print chardet.detect(TestData)
 
# 運(yùn)行結(jié)果：
# {'confidence': 0.99, 'encoding': 'GB2312'}
運(yùn)行結(jié)果表示有99%的概率認(rèn)為這段代碼是GB2312編碼方式。
 
import urllib
from chardet.universaldetector import UniversalDetector
usock = urllib.urlopen('http://www.baidu.com/')
# 創(chuàng)建一個(gè)檢測(cè)對(duì)象
detector = UniversalDetector()
for line in usock.readlines():
# 分塊進(jìn)行測(cè)試，直到達(dá)到閾值
detector.feed(line)
if detector.done: break
# 關(guān)閉檢測(cè)對(duì)象
detector.close()
usock.close()
# 輸出檢測(cè)結(jié)果
print detector.result
 
# 運(yùn)行結(jié)果：
# {'confidence': 0.99, 'encoding': 'GB2312'}

應(yīng)用背景，如果要對(duì)一個(gè)大文件進(jìn)行編碼識(shí)別，使用這種高級(jí)的方法，可以只讀一部，去判別編碼方式從而提高檢測(cè)速度。如果希望使用一個(gè)檢測(cè)對(duì)象檢測(cè)多個(gè)數(shù)據(jù)，在每次檢測(cè)完，一定要運(yùn)行一下detector.reset()。清除之前的數(shù)據(jù)。

以上所述就是本文的全部?jī)?nèi)容了，希望大家能夠喜歡。

您可能感興趣的文章:

相關(guān)文章

python相似模塊用例
這篇文章主要為大家詳細(xì)介紹了python相似模塊用例，感興趣的小伙伴們可以參考一下
2016-03-03
python使用Paramiko模塊實(shí)現(xiàn)遠(yuǎn)程文件拷貝
這篇文章主要為大家詳細(xì)介紹了python使用Paramiko模塊實(shí)現(xiàn)遠(yuǎn)程文件拷貝，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-04-04
python實(shí)現(xiàn)滑雪游戲
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)滑雪游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2020-02-02
Python開發(fā)常用五種循環(huán)方式的場(chǎng)景性能比較
Python是一門高級(jí)編程語(yǔ)言，其擁有多種循環(huán)方式，如for循環(huán)、while循環(huán)、do-while循環(huán)等。本文將逐個(gè)分析Python所有的循環(huán)執(zhí)行效率和適用場(chǎng)景，需要的可以參考一下
2023-04-04
Python程序員鮮為人知但你應(yīng)該知道的17個(gè)問(wèn)題
這篇文章主要介紹了Python程序員代碼編寫時(shí)應(yīng)該避免的17個(gè)“坑”,也可以說(shuō)成Python程序員代碼編寫時(shí)應(yīng)該避免的17個(gè)問(wèn)題,需要的朋友可以參考下
2014-06-06
Python利用 matplotlib 繪制直方圖
這篇文章主要介紹了Python利用 matplotlib 模塊繪制直方圖相關(guān)屬性和方法，具有一定的參考價(jià)值,需要的朋友可以參考一下
2021-12-12
Python TensorFlow 2.6獲取MNIST數(shù)據(jù)的示例代碼
這篇文章主要介紹了Python TensorFlow 2.6獲取MNIST數(shù)據(jù)的的相關(guān)示例,文中有詳細(xì)的代碼示例供大家參考,對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
2024-04-04
Python中迭代器與生成器的用法
這篇文章介紹了Python中迭代器與生成器的用法，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-05-05
Python實(shí)現(xiàn)簡(jiǎn)單狀態(tài)框架的方法
這篇文章主要介紹了Python實(shí)現(xiàn)簡(jiǎn)單狀態(tài)框架的方法,涉及Python狀態(tài)框架的實(shí)現(xiàn)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
2015-03-03
Python檢測(cè)兩個(gè)文本文件相似性的三種方法
檢測(cè)兩個(gè)文本文件的相似性是一個(gè)常見的任務(wù),可以用于文本去重、抄襲檢測(cè)等場(chǎng)景,Python 提供了多種方法來(lái)實(shí)現(xiàn)這一功能,x下面小編就來(lái)簡(jiǎn)單介紹一下吧
2025-03-03