python3訪問sina首頁中文的處理方法
"""
如果只用普通的
import urllib.request
html = urllib.request.urlopen("http://www.sina.com").read()
print(html.decode('gbk'))
出現(xiàn)下面的錯誤
builtins.UnicodeDecodeError: 'gbk' codec can't decode byte 0x8b in position 1: illegal multibyte sequence
怎么辦？原來是有的網(wǎng)站將網(wǎng)頁用gzip壓縮了 。
請看下面的代碼
建議大家用python2
import urllib2
from StringIO import StringIO
import gzip
request = urllib2.Request('http://www.sina.com')
request.add_header('Accept-encoding', 'gzip')
response = urllib2.urlopen(request)
if response.info().get('Content-Encoding') == 'gzip':
buf = StringIO( response.read())
f = gzip.GzipFile(fileobj=buf)
data = f.read()
print data.decode("GBK").encode('utf-8')
"""
import io
import urllib.request as r
import gzip
req = r.Request("http://www.sina.com", headers={"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36", "Accept-Encoding": "gzip"})
bs = r.urlopen(req).read()
bi = io.BytesIO(bs)
gf = gzip.GzipFile(fileobj=bi, mode="rb")
print(gf.read().decode("gbk"))
相關(guān)文章
在pyton中，通過struct模塊來對二進制進行轉(zhuǎn)換，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
這篇文章主要介紹了Python特殊方法整理匯總，有入門python的朋友可以跟隨小編一起來學(xué)習(xí)下2021-03-03
Flask sqlalchemy一對多與多對一與一對一及多對多關(guān)系介紹
這篇文章主要介紹了Flask sqlalchemy一對多與多對一與一對一及多對多關(guān)系介紹，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-09-09
詳解超星腳本出現(xiàn)亂碼問題的解決方法(Python)
超星助手是一款為孩子們提供學(xué)習(xí)的軟件,支持用戶們后臺運行多開等,還可以簽到,查題等多功能,下面這篇文章主要給大家介紹了關(guān)于超星腳本出現(xiàn)亂碼問題的解決方法,需要的朋友可以參考下2022-05-05
pygame是python用來寫游戲的擴展包,用這個擴展包,可以比較容易的構(gòu)造一個游戲窗口,這篇文章主要給大家介紹了關(guān)于如何利用Python創(chuàng)建一個游戲窗口的相關(guān)資料,需要的朋友可以參考下2022-07-07
Python使用pypinyin實現(xiàn)中文拼音轉(zhuǎn)換
pypinyin是一個Python庫,用于將中文漢字轉(zhuǎn)換為拼音,這篇文章主要為大家詳細介紹了pypinyin的基本用法并探討其應(yīng)用場景,需要的可以參考下2024-02-02
這篇文章主要介紹了python貪婪模式與非貪婪模式 ,實例分析了Python中返回一個返回值與多個返回值的方法,需要的朋友可以參考下2021-10-10
這篇文章主要介紹了Python爬取城市房租房信息實戰(zhàn)分享，先單線程爬蟲，測試可以成功爬取之后再優(yōu)化為多線程，最后存入數(shù)據(jù)庫，需要的小伙伴可以參考一下的相關(guān)資料2022-04-04
這篇文章主要介紹了用pip給python安裝matplotlib庫的詳細教程,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
python re的findall和finditer的區(qū)別詳解
這篇文章主要介紹了python re的findall和finditer的區(qū)別詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11