Python urllib庫(kù)如何添加headers過(guò)程解析
對(duì)于請(qǐng)求一些網(wǎng)站，我們需要加上請(qǐng)求頭才可以完成網(wǎng)頁(yè)的抓取，不然會(huì)得到一些錯(cuò)誤，無(wú)法返回抓取的網(wǎng)頁(yè)。下面，介紹兩種添加請(qǐng)求頭的方法。
方法一：借助build_opener和addheaders完成
import urllib.request
url="http://www.meizitu.com"
#注意：在urllib 中headers是元組
headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")
opener=urllib.request.build_opener()
opener.addheaders=[headers]
data=opener.open(url)
print(data.read())
注意：此處的headers要寫(xiě)為一個(gè)元組類(lèi)型才可以。寫(xiě)為字典類(lèi)型的話會(huì)報(bào)錯(cuò)！
方法二、創(chuàng)建一個(gè)Request實(shí)例對(duì)象
# 案例1
import urllib.request
url="http://www.meizitu.com"
#注意：在urllib 中這種的headers 是需要是字典的
headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE"}
req=urllib.request.Request(url=url,headers=headers)
file=urllib.request.urlopen(req)
#出現(xiàn)有些解碼錯(cuò)誤的話，加上“ignore”就可以啦
print(file.read().decode("utf-8",'ignore'))
注意：此處的headers要寫(xiě)為一個(gè)字典類(lèi)型才可以。
創(chuàng)建一個(gè)Reques對(duì)象，把需要的headers,url，proxy 都放進(jìn)去，或者在post 請(qǐng)求中還可以把編碼過(guò)后的data 值放進(jìn)去，再用urlopen 打開(kāi)，就比較方便了。
另外，這種方法還可以用add_headers（）來(lái)添加headers，代碼如下：
import urllib.request
try:
url="http://www.meizitu.com"
req=urllib.request.Request(url=url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE")
file=urllib.request.urlopen(req,timeout=10.1)
print(file.read().decode("utf-8",'ignore'))
except Exception as e:
print("時(shí)間超時(shí)",str(e))
總結(jié)：通過(guò)以上兩種方法，可以完成請(qǐng)求頭的相關(guān)參數(shù)設(shè)置，但是得注意headers是用字典類(lèi)型來(lái)傳入還是元組類(lèi)型。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)多張圖片合成一張馬賽克圖片
這篇文章主要介紹了了Python如何實(shí)現(xiàn)將多張圖片合成一張馬賽克圖片。文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python有一定的幫助，感興趣的可以學(xué)習(xí)一下2021-12-12
Python?xlwt工具使用詳解,生成excel欄位寬度可自適應(yīng)內(nèi)容長(zhǎng)度
這篇文章主要介紹了Python?xlwt工具使用詳解,生成excel欄位寬度可自適應(yīng)內(nèi)容長(zhǎng)度，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-02-02
在python新式類(lèi)中，可以定義一個(gè)變量__slots__，它的作用是阻止在實(shí)例化類(lèi)時(shí)為實(shí)例分配dict，下面這篇文章主要給大家介紹了關(guān)于Python中__slots__的相關(guān)資料，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2017-07-07
imap-tools模塊是python的第三方擴(kuò)展,?它使用標(biāo)準(zhǔn)庫(kù)imaplib,并將常見(jiàn)的郵件處理事件封裝,郵件處理起來(lái)代碼短，下面給大家介紹下python使用imap-tools模塊下載郵件中的附件示例代碼，感興趣的朋友一起看看吧2021-12-12
PyTorch實(shí)現(xiàn)更新部分網(wǎng)絡(luò),其他不更新
今天小編就為大家分享一篇PyTorch實(shí)現(xiàn)更新部分網(wǎng)絡(luò),其他不更新，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
對(duì)python中for、if、while的區(qū)別與比較方法
今天小編就為大家分享一篇對(duì)python中for 、if、 while的區(qū)別與比較方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
20個(gè)Python?random模塊常用函數(shù)的應(yīng)用與代碼示例
隨機(jī)數(shù)在計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)領(lǐng)域中扮演著重要角色,Python的標(biāo)準(zhǔn)庫(kù)中提供了random模塊,用于生成各種隨機(jī)數(shù),本文將深入探討random模塊的各種函數(shù),以及它們的應(yīng)用場(chǎng)景和代碼示例,需要的可以參考下2024-03-03
這篇文章主要介紹了使用Python-pptx?告別繁瑣的幻燈片制作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-05-05
這篇文章主要介紹了python查詢sqlite數(shù)據(jù)表的方法,涉及Python操作SQLite數(shù)據(jù)庫(kù)的基本技巧,需要的朋友可以參考下2015-05-05
Python學(xué)習(xí)筆記之Zip和Enumerate用法實(shí)例分析
這篇文章主要介紹了Python學(xué)習(xí)筆記之Zip和Enumerate用法,結(jié)合實(shí)例形式分析了Zip和Enumerate的功能、用法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-08-08