python 獲取網(wǎng)頁編碼方式實現(xiàn)代碼
python 獲取網(wǎng)頁編碼方式實現(xiàn)代碼
<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> </span><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"> python開發(fā),自動化獲取網(wǎng)頁編碼方式用到了chardet庫,字符集檢測,這個類在python2.7中沒有,需要在官網(wǎng)上下載。 這里我下載好了chardet-2.3.0.tar.gz壓縮包文件,只需要將壓縮包文件解壓后的chardet文件放到python安裝包下的 python27/lib/site-packages/下,就可以了。</span>
然后import chardet
下面寫了一個自動化檢測的函數(shù)供檢測Url連接,然后返回網(wǎng)頁url的編碼方式。
import chardet #字符集檢測 import urllib url="http://www.jd.com" def automatic_detect(url): content=urllib.urlopen(url).read() result=chardet.detect(content) encoding=result['encoding'] return encoding urls=['http://www.baidu.com','http://www.163.com','http://dangdang.com'] for url in urls: print url,automatic_detect(url)
上面用到了chardet類的detect方法,返回字典,然后取出編碼方式encoding
感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!
- Python3使用requests包抓取并保存網(wǎng)頁源碼的方法
- 深度剖析使用python抓取網(wǎng)頁正文的源碼
- Python解析網(wǎng)頁源代碼中的115網(wǎng)盤鏈接實例
- Python天氣預(yù)報采集器實現(xiàn)代碼(網(wǎng)頁爬蟲)
- Python urllib、urllib2、httplib抓取網(wǎng)頁代碼實例
- Python實現(xiàn)多線程抓取網(wǎng)頁功能實例詳解
- python3實現(xiàn)抓取網(wǎng)頁資源的 N 種方法
- Python正則抓取新聞標(biāo)題和鏈接的方法示例
- Python正則抓取網(wǎng)易新聞的方法示例
- Python使用正則表達式抓取網(wǎng)頁圖片的方法示例
- python訪問抓取網(wǎng)頁常用命令總結(jié)
- Python實現(xiàn)的下載網(wǎng)頁源碼功能示例
相關(guān)文章
Python Numpy:找到list中的np.nan值方法
今天小編就為大家分享一篇Python Numpy:找到list中的np.nan值方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
python學(xué)習(xí)VSCode使用技巧帶你進入高效開發(fā)模式
VsCode是一款開源的編輯器,擁有強大的功能,。由于擁有各種各樣的插件,這就使得VsCode可以做到的事情更多了。在使用的過程中,也是有很多技巧的,掌握一些技巧對于后期寫代碼也會輕松很多2021-09-09
Python中CSV文件(逗號分割)實戰(zhàn)操作指南
CSV文件默認(rèn)以英文逗號做為列分隔符,換行符作為行分隔符,下面這篇文章主要給大家介紹了關(guān)于Python中CSV文件(逗號分割)的相關(guān)資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-07-07
django修改models重建數(shù)據(jù)庫的操作
這篇文章主要介紹了django修改models重建數(shù)據(jù)庫的操作,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
Python3實現(xiàn)的反轉(zhuǎn)單鏈表算法示例
這篇文章主要介紹了Python3實現(xiàn)的反轉(zhuǎn)單鏈表算法,結(jié)合實例形式總結(jié)分析了Python基于迭代算法與遞歸算法實現(xiàn)的翻轉(zhuǎn)單鏈表相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
使用Python開發(fā)windows GUI程序入門實例
這篇文章主要介紹了使用Python開發(fā)windows GUI程序入門實例,本文著重介紹開發(fā)環(huán)境必須的軟件,代碼實現(xiàn)相對簡單,需要的朋友可以參考下2014-10-10

