快捷導(dǎo)航

Pytho爬蟲中Requests設(shè)置請求頭Headers的方法

更新時(shí)間：2020年09月22日 10:57:06 作者：syblogs

這篇文章主要介紹了Pytho爬蟲中Requests設(shè)置請求頭Headers的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

1、為什么要設(shè)置headers?

在請求網(wǎng)頁爬取的時(shí)候，輸出的text信息中會出現(xiàn)抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機(jī)制去解決這個(gè)問題。

headers是解決requests請求反爬的方法之一，相當(dāng)于我們進(jìn)去這個(gè)網(wǎng)頁的服務(wù)器本身，假裝自己本身在爬取數(shù)據(jù)。

對反爬蟲網(wǎng)頁，可以設(shè)置一些headers信息，模擬成瀏覽器取訪問網(wǎng)站。

2、 headers在哪里找？

谷歌或者火狐瀏覽器，在網(wǎng)頁面上點(diǎn)擊：右鍵–>檢查–>剩余按照圖中顯示操作，需要按Fn+F5刷新出網(wǎng)頁來

有的瀏覽器是點(diǎn)擊：右鍵->查看元素，刷新

注意：headers中有很多內(nèi)容，主要常用的就是user-agent 和 host，他們是以鍵對的形式展現(xiàn)出來，如果user-agent 以字典鍵對形式作為headers的內(nèi)容，就可以反爬成功，就不需要其他鍵對；否則，需要加入headers下的更多鍵對形式。

用Python下載一個(gè)網(wǎng)頁保存為本地的HTML文件實(shí)例1-中文網(wǎng)頁

import requests

# 中文網(wǎng)頁：https://baike.so.com/doc/24386561-25208408.html
url1='https://baike.so.com/doc/24386561-25208408.html'
#添加請求頭
headers = {
 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'
}
response_1=requests.get(url1, headers=headers)

response_1.encoding='utf-8'
#第一種：
# with open('steve_jobs2.html','w',encoding='utf-8') as f1:
#  f1.write(response_1.text)
#第二種：
f1=open('steve_jobs2.html','w',encoding='utf-8')
f1.write(response_1.text)

c=response_1.text
print(c)

用Python下載一個(gè)網(wǎng)頁保存為本地的HTML文件實(shí)例2-英文網(wǎng)頁

import requests
import re

# 英文網(wǎng)頁：https://en.wikipedia.org/wiki/Steve_Jobs
url2='https://en.wikipedia.org/wiki/Steve_Jobs'
response_2=requests.get(url2)
# 源碼都是Utf-8編碼
response_2.encoding='utf-8'
#第一種：
# with open('steve_jobs3.html','w',encoding='utf-8') as f2:
#  f2.write(response_2.text)
#第二種：
f2=open('steve_jobs3.html','w',encoding='utf-8')
f2.write(response_2.text)

c=response_2.text
print(c)

到此這篇關(guān)于Pytho爬蟲中Requests設(shè)置請求頭Headers的方法的文章就介紹到這了,更多相關(guān)Pytho Requests設(shè)置請求頭Headers內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: