快捷導(dǎo)航

python3爬蟲(chóng)怎樣構(gòu)建請(qǐng)求header

更新時(shí)間：2018年12月23日 11:33:43 投稿：laozhang

在本篇內(nèi)容里小編給大家分享了關(guān)于python3爬蟲(chóng)怎樣構(gòu)建請(qǐng)求header的知識(shí)點(diǎn)，需要的朋友們學(xué)習(xí)下。

寫(xiě)一個(gè)爬蟲(chóng)首先就是學(xué)會(huì)設(shè)置請(qǐng)求頭header，這樣才可以偽裝成瀏覽器。下面小編我就來(lái)給大家簡(jiǎn)單分析一下python3怎樣構(gòu)建一個(gè)爬蟲(chóng)的請(qǐng)求頭header。

1、python3跟2有了細(xì)微差別，所以我們先要引入request，python2沒(méi)有這個(gè)request哦。然后復(fù)制網(wǎng)址給url，然后用一個(gè)字典來(lái)保存header，這個(gè)header怎么來(lái)的？看第2步。

2、打開(kāi)任意瀏覽器某一頁(yè)面（要聯(lián)網(wǎng)），按f12,然后點(diǎn)network，之后再按f5，然后就會(huì)看到“name”這里，我們點(diǎn)擊name里面的任意文件即可。

3、之后右邊有一個(gè)headers,點(diǎn)擊headers找到request headers，這個(gè)就是瀏覽器的請(qǐng)求報(bào)頭了。

4、然后復(fù)制其中的user-agent，其他的cookie還有Accept可以要也可以不要，主要是偽裝成瀏覽器，所以我就用了user-agent

5、接著再用Request方法把url和headers組合在一起就可以構(gòu)造一個(gè)比較簡(jiǎn)單的請(qǐng)求了。Request有三個(gè)參數(shù)（url,data,headers）,如果有使用data就是post請(qǐng)求了，沒(méi)有就是get請(qǐng)求。這里我沒(méi)有data，所以我就指定headers=header，不然header就會(huì)被當(dāng)成data了。

6、請(qǐng)求對(duì)象rq就構(gòu)造好了，然后用urlopen發(fā)送這個(gè)請(qǐng)求對(duì)象就可以了。這就是簡(jiǎn)單的請(qǐng)求頭設(shè)置了。

總結(jié)：以上就是關(guān)于python3爬蟲(chóng)怎樣構(gòu)建請(qǐng)求頭的相關(guān)知識(shí)點(diǎn)，感謝大家的閱讀和對(duì)腳本之家的支持。

您可能感興趣的文章:

相關(guān)文章

Windows10下 python3.7 安裝 facenet的教程
這篇文章主要介紹了Windows10 python3.7 安裝 facenet的教程，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
2019-09-09
表格梳理解析python內(nèi)置時(shí)間模塊看完就懂
這篇文章主要介紹了python內(nèi)置的時(shí)間模塊，本文用表格方式清晰的對(duì)Python內(nèi)置時(shí)間模塊進(jìn)行語(yǔ)法及用法的梳理解析，有需要的朋友建議收藏參考
2021-10-10
Python?Pandas?中的數(shù)據(jù)結(jié)構(gòu)詳解
這篇文章主要介紹了Python?Pandas?中的數(shù)據(jù)結(jié)構(gòu)詳解，Pandas有三種數(shù)據(jù)結(jié)構(gòu)Series、DataFrame和Panel，文章圍繞主題展開(kāi)更多相關(guān)內(nèi)容需要的小伙伴可以參考一下
2022-06-06
Pycharm 使用 Pipenv 新建的虛擬環(huán)境(圖文詳解)
pipenv 是 Pipfile 主要倡導(dǎo)者、requests 作者 Kenneth Reitz 寫(xiě)的一個(gè)命令行工具，主要包含了Pipfile、pip、click、requests和virtualenv。這篇文章主要介紹了Pycharm 使用 Pipenv 新建的虛擬環(huán)境的問(wèn)題,需要的朋友可以參考下
2020-04-04
10個(gè)Python Excel自動(dòng)化腳本分享
在數(shù)據(jù)處理和分析的過(guò)程中,Excel文件是我們?nèi)粘９ぷ髦谐Ｒ?jiàn)的格式,本文將分享10個(gè)實(shí)用的Excel自動(dòng)化腳本,希望可以幫助大家更輕松地掌握這些技能
2025-02-02
Python連接Oracle數(shù)據(jù)庫(kù)的操作指南
Oracle數(shù)據(jù)庫(kù)是一種強(qiáng)大的企業(yè)級(jí)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（RDBMS）,而Python是一門(mén)流行的編程語(yǔ)言,兩者的結(jié)合可以提供出色的數(shù)據(jù)管理和分析能力,本教程將詳細(xì)介紹如何在Python中連接Oracle數(shù)據(jù)庫(kù),并演示常見(jiàn)的數(shù)據(jù)庫(kù)任務(wù),需要的朋友可以參考下
2023-11-11
PHP網(wǎng)頁(yè)抓取之抓取百度貼吧郵箱數(shù)據(jù)代碼分享
本文給大家介紹PHP網(wǎng)頁(yè)抓取之抓取百度貼吧郵箱數(shù)據(jù)代碼分享，程序?qū)崿F(xiàn)了一鍵抓取帖子全部郵箱和分頁(yè)抓取郵箱兩個(gè)功能，感興趣的朋友一起學(xué)習(xí)吧
2016-04-04
Python實(shí)現(xiàn)的百度站長(zhǎng)自動(dòng)URL提交小工具
這篇文章主要介紹了Python實(shí)現(xiàn)的百度站長(zhǎng)自動(dòng)URL提交小工具,主要難點(diǎn)在驗(yàn)證碼識(shí)別部分,研究驗(yàn)證碼識(shí)別的朋友可以參考下
2014-06-06
Python實(shí)現(xiàn)對(duì)一個(gè)函數(shù)應(yīng)用多個(gè)裝飾器的方法示例
這篇文章主要介紹了Python實(shí)現(xiàn)對(duì)一個(gè)函數(shù)應(yīng)用多個(gè)裝飾器的方法,結(jié)合實(shí)例形式分析了Python編程中一個(gè)函數(shù)使用多個(gè)裝飾器的簡(jiǎn)單操作技巧,需要的朋友可以參考下
2018-02-02
python 捕獲 shell/bash 腳本的輸出結(jié)果實(shí)例
下面小編就為大家?guī)?lái)一篇python 捕獲 shell/bash 腳本的輸出結(jié)果實(shí)例。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-01-01