python cookie反爬處理的實(shí)現(xiàn)
Cookies的處理
作用
保存客戶端的相關(guān)狀態(tài)
在爬蟲(chóng)中如果遇到了cookie的反爬如何處理?
手動(dòng)處理
在抓包工具中捕獲cookie,將其封裝在headers中
應(yīng)用場(chǎng)景:cookie沒(méi)有有效時(shí)長(zhǎng)且不是動(dòng)態(tài)變化
自動(dòng)處理
使用session機(jī)制
使用場(chǎng)景:動(dòng)態(tài)變化的cookie
session對(duì)象:該對(duì)象和requests模塊用法幾乎一致.如果在請(qǐng)求的過(guò)程中產(chǎn)生了cookie,如果該請(qǐng)求使用session發(fā)起的,則cookie會(huì)被自動(dòng)存儲(chǔ)到session中.
案例
爬取雪球網(wǎng)中的新聞資訊數(shù)據(jù):https://xueqiu.com/
#獲取一個(gè)session對(duì)象
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推測(cè)對(duì)該url發(fā)起請(qǐng)求會(huì)產(chǎn)生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
'since_id': '-1',
'max_id': '20346152',
'count': '15',
'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text
到此這篇關(guān)于python cookie反爬處理的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)python cookie反爬內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
TensorFlow用expand_dim()來(lái)增加維度的方法
今天小編就為大家分享一篇TensorFlow用expand_dim()來(lái)增加維度的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
今天小編就為大家分享一篇Django中間件實(shí)現(xiàn)攔截器的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
加速Python代碼執(zhí)行利器使用實(shí)例探究
這篇文章主要為大家介紹了加速Python代碼執(zhí)行的利器使用實(shí)例探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
python中extend函數(shù)舉例詳解以及對(duì)比
Python中的extend函數(shù)是用于將一個(gè)列表的元素添加到另一個(gè)列表中,它會(huì)將第一個(gè)列表中的元素逐個(gè)添加到第二個(gè)列表的末尾,這篇文章主要給大家介紹了關(guān)于python中extend函數(shù)舉例詳解以及對(duì)比的相關(guān)資料,需要的朋友可以參考下2024-03-03
pytest通過(guò)assert進(jìn)行斷言的實(shí)現(xiàn)
assert斷言是一種用于檢查代碼是否按預(yù)期工作的方法,在pytest中,assert斷言可以用于測(cè)試代碼的正確性,以確保代碼在運(yùn)行時(shí)按照預(yù)期工作,本文就來(lái)介紹一下如何使用,感興趣的可以了解下2023-12-12
這篇文章主要為大家詳細(xì)介紹了selenium+PhantomJS爬取豆瓣讀書(shū)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-08-08
Python基礎(chǔ)之pandas數(shù)據(jù)合并
這篇文章主要介紹了Python基礎(chǔ)之pandas數(shù)據(jù)合并,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python基礎(chǔ)的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-04-04
這篇文章主要介紹了Python求導(dǎo)數(shù)的方法,涉及Python數(shù)學(xué)運(yùn)算的相關(guān)技巧,需要的朋友可以參考下2015-05-05
Python數(shù)據(jù)可視化Pyecharts庫(kù)的使用教程
pyecharts是一個(gè)用于生成echarts圖表的類庫(kù)。echarts是百度開(kāi)源的一個(gè)數(shù)據(jù)可視化庫(kù)，用echarts生成的圖可視化效果非常棒。使用pyechart庫(kù)可以在python中生成echarts數(shù)據(jù)圖。本文將詳細(xì)介紹一下Pyecharts庫(kù)的使用，需要的可以參考一下2022-02-02
Python中使用tarfile壓縮、解壓tar歸檔文件示例
這篇文章主要介紹了Python中使用tarfile壓縮、解壓tar歸檔文件示例,本文直接給出解壓和壓縮代碼示例,需要的朋友可以參考下2015-04-04