Scrapy 配置動態(tài)代理IP的實現(xiàn)
更新時間：2020年09月28日 10:34:07 作者：BradyCC
這篇文章主要介紹了Scrapy 配置動態(tài)代理IP的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
應(yīng)用 Scrapy框架 ，配置動態(tài)IP處理反爬。
# settings 配置中間件
DOWNLOADER_MIDDLEWARES = {
'text.middlewares.TextDownloaderMiddleware': 543,
# 'text.middlewares.RandomUserAgentMiddleware': 544,
# 'text.middlewares.CheckUserAgentMiddleware': 545,
'text.middlewares.ProxyMiddleware': 546,
'text.middlewares.CheckProxyMiddleware': 547
}
# settings 配置可用動態(tài)IP
PROXIES = [
"http://101.231.104.82:80",
"http://39.137.69.6:8080",
"http://39.137.69.10:8080",
"http://39.137.69.7:80",
"http://39.137.77.66:8080",
"http://117.191.11.102:80",
"http://117.191.11.113:8080",
"http://117.191.11.113:80",
"http://120.210.219.103:8080",
"http://120.210.219.104:80",
"http://120.210.219.102:80",
"http://119.41.236.180:8010",
"http://117.191.11.80:8080"
]
# middlewares 配置中間件
import random
class ProxyMiddleware(object):
def process_request(self, request, spider):
ip = random.choice(spider.settings.get('PROXIES'))
print('測試IP:', ip)
request.meta['proxy'] = ip
class CheckProxyMiddleware(object):
def process_response(self, request, response, spider):
print('代理IP:', request.meta['proxy'])
return response
到此這篇關(guān)于Scrapy 配置動態(tài)代理IP的實現(xiàn)的文章就介紹到這了,更多相關(guān)Scrapy 動態(tài)代理IP內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于如何用Python畫五彩氣球的相關(guān)資料,主要是用turtle庫自帶的畫筆turtle.Turtle()來繪制氣球,文中給出了詳細的實例代碼,需要的朋友可以參考下2023-06-06
這篇文章給大家介紹了如何使用python批量爬取圖片,文中通過代碼示例給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了Python編碼類型轉(zhuǎn)換方法,結(jié)合實例形式詳細分析了Python針對各種常見編碼的轉(zhuǎn)碼與解碼等操作技巧,需要的朋友可以參考下2016-07-07
這篇文章主要介紹了Python Numpy庫安裝與基本操作,簡單介紹了Numpy庫的基本功能、并結(jié)合實例形式分析了基于Numpy庫的數(shù)組與矩陣相關(guān)操作技巧,需要的朋友可以參考下2019-01-01
這篇文章主要介紹了Python中的多線程實例，一個CPU，將時間切成一片一片的，CPU輪轉(zhuǎn)著去處理一件一件的事情，到了規(guī)定的時間片就處理下一件事情，更多的相關(guān)內(nèi)容需要的小伙伴可以參考下面文章詳細2022-10-10
Django開發(fā)中使用Ueditor上傳圖片遇到的坑及解決
在Django開發(fā)中使用Ueditor上傳圖片時,可能會遇到后端配置不正確的問題,建議在實例化Ueditor后加上serverUrl,這可以在Chrome的F12工具中查看請求的后端配置項,此外,如果需要修改上傳路徑,可以在配置文件中更改路徑,并調(diào)整view.py中的代碼來管理上傳文件2024-09-09
這篇文章主要給大家分享了17個Python小技巧，都是些基礎(chǔ)的非常常用也非常實用的小技巧，這里推薦給大家。2015-01-01
GIL是CPython中的一種線程鎖機制,確保同一時間只有一個線程執(zhí)行Python代碼,本文就來介紹一下python中GIL鎖的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2025-01-01
下面小編就為大家分享一篇Pyinstaller將py打包成exe的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-03-03
使用OpenCV對車道進行實時檢測的實現(xiàn)示例代碼
這篇文章主要介紹了使用OpenCV對車道進行實時檢測的實現(xiàn)示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06