requests.gPython?用requests.get獲取網(wǎng)頁內(nèi)容為空?’?’問題
下面先來看一個例子：
import ?requests
result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
result輸出結(jié)果：
繼續(xù)運(yùn)行，發(fā)現(xiàn)返回空值，在請求網(wǎng)頁爬取的時候，輸出的text信息中會出現(xiàn)抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機(jī)制去解決這個問題。headers是解決requests請求反爬的方法之一，相當(dāng)于我們進(jìn)去這個網(wǎng)頁的服務(wù)器本身，假裝自己本身在爬取數(shù)據(jù)。對反爬蟲網(wǎng)頁，可以設(shè)置一些headers信息，模擬成瀏覽器取訪問網(wǎng)站 。
一、如何設(shè)置headers
拿兩個常用的瀏覽器舉例：
1、QQ瀏覽器
界面 F12
點(diǎn)擊network 鍵入 CTRL+R
單擊第一個 最下邊就是我門需要的 把他設(shè)置成headers解決問題
2、Miscrosft edge
二、微軟自帶瀏覽器
同樣 F12 打開開發(fā)者工具
點(diǎn)擊網(wǎng)絡(luò)，CTRL+R
前文代碼修改：
import requests
ur="http://data.10jqka.com.cn/financial/yjyg/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
result = requests.get(ur, headers=headers)
result.text成功解決不能爬取問題
到此這篇關(guān)于requests.gPython 用requests.get獲取網(wǎng)頁內(nèi)容為空 ’ ’的文章就介紹到這了,更多相關(guān)requests.gPython 用requests.get獲取網(wǎng)頁內(nèi)容為空 ’ ’內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python數(shù)據(jù)可視化JupyterLab實(shí)用擴(kuò)展程序Mito
這篇文章主要為大家介紹了python數(shù)據(jù)可視化JupyterLab實(shí)用擴(kuò)展程序Mito的功能應(yīng)用示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-11-11
Python使用argcomplete模塊實(shí)現(xiàn)自動補(bǔ)全
argcomplete?是一個強(qiáng)大的Python庫,可以大幅改善命令行應(yīng)用程序的用戶體驗(yàn),本文主要介紹了argcomplete模塊的相關(guān)用法,感興趣的小伙伴可以了解下2023-11-11
Python matplotlib學(xué)習(xí)筆記之坐標(biāo)軸范圍
這篇文章主要介紹了Python matplotlib學(xué)習(xí)筆記之坐標(biāo)軸范圍，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
這篇文章主要介紹了Python3?循環(huán)語句,本文將詳細(xì)介紹Python3中的循環(huán)語句，給出各種循環(huán)的使用示例，以及運(yùn)行結(jié)果的解釋，需要的朋友可以參考下2023-04-04
這篇文章主要推薦了一些好用的Python庫，都有這不錯的群眾基礎(chǔ)，非常好用，也都很實(shí)用，推薦給大家，希望能夠給你帶來幫助2021-09-09
Python學(xué)習(xí)之私有函數(shù),私有變量及封裝詳解
私有函數(shù)與私有變量中的私有就是獨(dú)自擁有、不公開、不分享的意思。放到函數(shù)與變量中就是獨(dú)自擁有的函數(shù)與獨(dú)自擁有的變量，并且不公開。本文將通過示例詳細(xì)講解Python中的私有函數(shù)、私有變量及封裝，感興趣的可以學(xué)習(xí)一下2022-03-03
這篇文章主要介紹了Python中的默認(rèn)參數(shù)詳解,本文講解了默認(rèn)參數(shù)的基本原理、如何正確地使用可變參數(shù)等內(nèi)容,需要的朋友可以參考下2015-06-06
Python調(diào)用Prometheus監(jiān)控數(shù)據(jù)并計算
Prometheus是一套開源監(jiān)控系統(tǒng)和告警為一體，由go語言(golang)開發(fā)，是監(jiān)控+報警+時間序列數(shù)據(jù)庫的組合。本文將介紹Python如何調(diào)用Prometheus實(shí)現(xiàn)數(shù)據(jù)的監(jiān)控與計算，需要的可以參考一下2021-12-12
python實(shí)現(xiàn)秒殺商品的微信自動提醒功能(代碼詳解)
這篇文章主要介紹了python實(shí)現(xiàn)秒殺商品的微信自動提醒功能，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-04-04
numpy數(shù)組做圖片拼接的實(shí)現(xiàn)（concatenate、vstack、hstack）
這篇文章主要介紹了numpy數(shù)組做圖片拼接的實(shí)現(xiàn)（concatenate、vstack、hstack），文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11