Python使用scrapy采集數(shù)據(jù)時為每個請求隨機分配user-agent的方法
更新時間：2015年04月08日 10:59:13 作者：pythoner
這篇文章主要介紹了Python使用scrapy采集數(shù)據(jù)時為每個請求隨機分配user-agent的方法,涉及Python使用scrapy采集數(shù)據(jù)的技巧,非常具有實用價值,需要的朋友可以參考下
本文實例講述了Python使用scrapy采集數(shù)據(jù)時為每個請求隨機分配user-agent的方法。分享給大家供大家參考。具體分析如下：
通過這個方法可以每次請求更換不同的user-agent，防止網(wǎng)站根據(jù)user-agent屏蔽scrapy的蜘蛛
首先將下面的代碼添加到settings.py文件，替換默認的user-agent處理模塊
復(fù)制代碼 代碼如下:
DOWNLOADER_MIDDLEWARES = {
'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
自定義useragent處理模塊
復(fù)制代碼 代碼如下:
from scraper.settings import USER_AGENT_LIST
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
ua = random.choice(USER_AGENT_LIST)
if ua:
request.headers.setdefault('User-Agent', ua)
#log.msg('>>>> UA %s'%request.headers)
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
ua = random.choice(USER_AGENT_LIST)
if ua:
request.headers.setdefault('User-Agent', ua)
#log.msg('>>>> UA %s'%request.headers)
希望本文所述對大家的Python程序設(shè)計有所幫助。
相關(guān)文章
Python 實現(xiàn)圖片轉(zhuǎn)字符畫的示例(靜態(tài)圖片,gif皆可)
這篇文章主要介紹了Python 實現(xiàn)圖片轉(zhuǎn)字符畫的示例，幫助大家更好的利用python進行圖片處理，感興趣的朋友可以了解下2020-11-11
本文主要介紹了Python刪除指定字符之前或之后所有內(nèi)容的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
Python圖片視頻超分模型RealBasicVSR的使用教程
這篇文章主要和大家分享一個有意思的模型：RealBasicVSR。這個模型可以實現(xiàn)圖片或視頻的超分處理，感興趣的小伙伴可以跟隨小編一起學習一下2022-05-05
使用python搭建服務(wù)器并實現(xiàn)Android端與之通信的方法
今天小編就為大家分享一篇使用python搭建服務(wù)器并實現(xiàn)Android端與之通信的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
這篇文章主要介紹了使用pyecharts無法import Bar的解決方案，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2017-01-01
最新版 Windows10上安裝Python 3.8.5的步驟詳解
這篇文章主要介紹了最新版 Windows10上安裝Python 3.8.5的步驟詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
詳談在flask中使用jsonify和json.dumps的區(qū)別
下面小編就為大家分享一篇詳談在flask中使用jsonify和json.dumps的區(qū)別，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-03-03
今天小編就為大家分享一篇python通過tcp發(fā)送xml報文的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
中國象棋是一種古老的棋類游戲，大約有兩千年的歷史。本文將介紹如何通過Python中的Pygame模塊實現(xiàn)人機中國象棋游戲，感興趣的可以學習一下2022-01-01
python的random庫，提供了很多隨機抽樣方法。本文將通過幾個示例為大家詳細講講random模塊實現(xiàn)隨機抽樣的方法，需要的可以參考一下2022-09-09