scrapy中如何設置應用cookies的方法(3種)
本人是python3.6
總的來說，scrapy框架中設置cookie有三種方式。
第一種：setting文件中設置cookie
當COOKIES_ENABLED是注釋的時候scrapy默認沒有開啟cookie
當COOKIES_ENABLED沒有注釋設置為False的時候scrapy默認使用了settings里面的cookie
當COOKIES_ENABLED設置為True的時候scrapy就會把settings的cookie關掉，使用自定義cookie
所以當我使用settings的cookie的時候，又把COOKIES_ENABLED設置為True，scrapy就會把settings的cookie關閉，
而且我也沒使用自定義cookie，導致整個請求根本沒有cookie,導致獲取頁面失敗。
總結：
如果使用自定義cookie就把COOKIES_ENABLED設置為True
如果使用settings的cookie就把COOKIES_ENABLED設置為False
第二種：middlewares中設置cookie
在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：
request.cookies={
'':'',
'':'',
}
等等。里面的cookie內(nèi)容要以鍵值對的形式存在。
第三種：在spider爬蟲主文件中，重寫start_request方法，在scrapy的Request函數(shù)的參數(shù)中傳遞cookies
# 重載start_requests方法
def start_requests(self):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}
# 指定cookies
cookies = {
'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0',
'_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',
'__mta': '222746148.1542881402495.1542881402495.1542881402495.1',
'ci': '20',
'rvct': '20%2C92%2C282%2C281%2C1',
'_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',
'_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}
# 再次請求到詳情頁，并且聲明回調函數(shù)callback，dont_filter=True 不進行域名過濾，meta給回調函數(shù)傳遞數(shù)據(jù)
yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item}, dont_filter=True)
同時還要在setting中設置：
ROBOTSTXT_OBEY=False
到此這篇關于scrapy中如何設置應用cookies的方法(3種)的文章就介紹到這了,更多相關scrapy設置cookies內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Python中高效抓取數(shù)據(jù)的實戰(zhàn)指南
在數(shù)據(jù)驅動的時代,網(wǎng)絡爬蟲已成為獲取信息的核心工具,本文將用通俗的語言,帶您掌握Python爬蟲結合代理IP抓取數(shù)據(jù)的全流程,希望對大家有一定的幫助2025-04-04
在本篇內(nèi)容里我們給大家分享了關于python ddt數(shù)據(jù)驅動最簡實例代碼以及相關知識點，需要的朋友們跟著學習下。2019-02-02
合成微縮是一個使真實大小物體照片看起來像微縮模型照片的過程，也稱為 Diorama Effect/Fillusion，照片的模糊部分模擬了通常在特寫攝影中通常遇到的近景深度，從而使場景看起來比實際場景小得多，這篇文章主要介紹了Python?合成微縮效果,需要的朋友可以參考下2023-03-03
這篇文章主要介紹了numpy實現(xiàn)RNN原理實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
這篇文章主要介紹了快速查詢Python文檔方法分享，具有一定借鑒價值,需要的朋友可以參考下2017-12-12
這篇文章主要為大家詳細介紹了Python如何實現(xiàn)生成指定大小文件，例如txt/圖片/視頻/csv等，文中的示例代碼講解詳細，需要的可以參考下2023-08-08
Python實現(xiàn)解析參數(shù)的三種方法詳解
這篇文章主要介紹了python解析參數(shù)的三種方法,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2022-07-07
這篇文章主要介紹了numpy數(shù)組廣播的機制，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
Python函數(shù)式編程指南（二）：從函數(shù)開始
這篇文章主要介紹了Python函數(shù)式編程指南（二）：從函數(shù)開始,本文講解了定義一個函數(shù)、使用函數(shù)賦值、閉包、作為參數(shù)等內(nèi)容,需要的朋友可以參考下2015-06-06
Python實現(xiàn)變量數(shù)值交換及判斷數(shù)組是否含有某個元素的方法
這篇文章主要介紹了Python實現(xiàn)變量數(shù)值交換及判斷數(shù)組是否含有某個元素的方法,涉及Python字符串與數(shù)組的相關賦值、判斷操作技巧,需要的朋友可以參考下2017-09-09