Python爬蟲通過替換http request header來欺騙瀏覽器實(shí)現(xiàn)登錄功能
更新時(shí)間：2018年01月07日 15:33:51 作者：huahuayu
這篇文章主要介紹了Python爬蟲通過替換http request header來欺騙瀏覽器實(shí)現(xiàn)登錄功能,需要的朋友可以參考下
以豆瓣為例，訪問https://www.douban.com/contacts/list 來查看自己關(guān)注的人，要登錄才能查看。
如果用requests.get()方法獲取這個(gè)http，沒登錄只能抓取回一個(gè)登錄界面，所以我們要用Python登錄網(wǎng)站才能抓取想要的網(wǎng)頁。
一個(gè)簡(jiǎn)便的方法就是自己在瀏覽器上登錄好，然后通過下圖方法（Chrome為例），找到自己的Cookie和User-Agent，然后發(fā)送request時(shí)用這復(fù)制來的header替換掉待發(fā)送的request以達(dá)到登錄的目的，server端會(huì)憑這個(gè)認(rèn)為你是已經(jīng)登錄的用戶。
代碼如下：
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Cookie':'gr_user_id=1f9ea7ea-462a-4a6f-9d55-156631fc6d45; bid=vPYpmmD30-k; ll="118282"; ue="codin; __utmz=30149280.1499577720.27.14.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/doulist/240962/; __utmv=30149280.3049; _vwo_uuid_v2=F04099A9dd; viewed="27607246_26356432"; ap=1; ps=y; push_noty_num=0; push_doumail_num=0; dbcl2="30496987:gZxPfTZW4y0"; ck=13ey; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1515153574%2C%22https%3A%2F%2Fbook.douban.com%2Fmine%22%5D; __utma=30149280.833870293.1473539740.1514800523.1515153574.50; __utmc=30149280; _pk_id.100001.8cb4=255d8377ad92c57e.1473520329.20.1515153606.1514628010.'
} #替換成自己的cookie
r = requests.get('https://www.douban.com/contacts/list', headers = headers)
print(r.text)
總結(jié)
以上所述是小編個(gè)大家介紹的Python爬蟲通過替換http request header來欺騙瀏覽器實(shí)現(xiàn)登錄 ，希望對(duì)大家有所幫助，如果大家有任何疑問歡迎給我留言，小編會(huì)及時(shí)回復(fù)大家的！
您可能感興趣的文章:
- php的curl攜帶header請(qǐng)求頭信息實(shí)現(xiàn)http訪問的方法
- Golang 發(fā)送http請(qǐng)求時(shí)設(shè)置header的實(shí)現(xiàn)
- Django接收自定義http header過程詳解
- 對(duì)Python發(fā)送帶header的http請(qǐng)求方法詳解
- 理解Angular的providers給Http添加默認(rèn)headers
- java獲取http請(qǐng)求的Header和Body的簡(jiǎn)單方法
- java 獲取HttpRequest Header的幾種方法(必看篇)
- HTTP中header頭部信息詳解
相關(guān)文章
pymemcache是另一個(gè)流行的、功能豐富的Python Memcached客戶端庫,比python-memcached提供了復(fù)雜的操作和性能,在 Python3 中,使用 Memcached,高性能的分布式內(nèi)存對(duì)象緩存系統(tǒng),可以通過多個(gè)第三方庫來實(shí)現(xiàn),本文介紹Python 使用 Memcached相關(guān)知識(shí),感興趣的朋友一起看看吧2024-02-02
在?Python?中處理圖像數(shù)據(jù)的時(shí)候，例如應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)等算法可以處理大量圖像數(shù)據(jù)集，這里就需要學(xué)習(xí)如何用最簡(jiǎn)單的方式存儲(chǔ)、讀取數(shù)據(jù)。本文介紹了Python中圖片存儲(chǔ)和訪問的三種方式，需要的可以參考一下2022-04-04
Python Celery多隊(duì)列配置代碼實(shí)例
這篇文章主要介紹了Python Celery多隊(duì)列配置代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
itchat和matplotlib的結(jié)合使用爬取微信信息的實(shí)例
下面小編就為大家?guī)硪黄猧tchat和matplotlib的結(jié)合使用爬取微信信息的實(shí)例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-08-08
linux之文件查找指定文件中包含關(guān)鍵字的行信息方式
這篇文章主要介紹了linux之文件查找指定文件中包含關(guān)鍵字的行信息方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。2023-06-06
Python 的 logging 模塊提供了標(biāo)準(zhǔn)的日志接口,可以通過它存儲(chǔ)各種格式的日志,日志記錄提供了一組便利功能,用于簡(jiǎn)單的日志記錄用法,本文就給大家簡(jiǎn)單的介紹一下Python logging日志模塊使用方法,需要的朋友可以參考下2023-08-08
使用Python實(shí)現(xiàn)監(jiān)控進(jìn)程是否有病毒
這篇文章主要為大家詳細(xì)介紹了如何使用Python實(shí)現(xiàn)監(jiān)控進(jìn)程是否有病毒,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-02-02
Python實(shí)現(xiàn)桶排序與快速排序算法結(jié)合應(yīng)用示例
這篇文章主要介紹了Python實(shí)現(xiàn)桶排序與快速排序算法結(jié)合應(yīng)用,結(jié)合實(shí)例形式分析了Python快速排序及桶排序結(jié)合應(yīng)用的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-11-11
Django生成PDF文檔顯示網(wǎng)頁上以及PDF中文顯示亂碼的解決方法
今天小編就為大家分享一篇Django生成PDF文檔顯示網(wǎng)頁上以及PDF中文顯示亂碼的解決方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Pytorch中Tensor與各種圖像格式的相互轉(zhuǎn)化詳解
這篇文章主要介紹了Pytorch中Tensor與各種圖像格式的相互轉(zhuǎn)化詳解，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12