Scrapy基于scrapy_redis實(shí)現(xiàn)分布式爬蟲部署的示例
準(zhǔn)備工作
1.安裝scrapy_redis包,打開(kāi)cmd工具,執(zhí)行命令pip install scrapy_redis
2.準(zhǔn)備好一個(gè)沒(méi)有BUG,沒(méi)有報(bào)錯(cuò)的爬蟲項(xiàng)目
3.準(zhǔn)備好redis主服務(wù)器還有跟程序相關(guān)的mysql數(shù)據(jù)庫(kù)
前提mysql數(shù)據(jù)庫(kù)要打開(kāi)允許遠(yuǎn)程連接,因?yàn)閙ysql安裝后root用戶默認(rèn)只允許本地連接,詳情請(qǐng)看此文章
部署過(guò)程
1.修改爬蟲項(xiàng)目的settings文件
在下載的scrapy_redis包中,有一個(gè)scheduler.py文件,里面有一個(gè)Scheduler類,是用來(lái)調(diào)度url,還有一個(gè)dupefilter.py文件,里面有個(gè)類是RFPDupeFilter,是用來(lái)去重,所以要在settings任意位置文件中添加上它們
還有在scrapy_redis包中,有一個(gè)pipelines文件,里面的RedisPipeline類可以把爬蟲的數(shù)據(jù)寫入redis,更穩(wěn)定安全,所以要在settings中啟動(dòng)pipelines的地方啟動(dòng)此pipeline
最后修改redis連接配置
2.修改spider爬蟲文件
首先我們要引入一個(gè)scrapy_redis.spider文件中的一個(gè)RedisSpider類,然后把spider爬蟲文件原來(lái)繼承的scrapy.Spider類改為引入的RedisSpider這個(gè)類
接著把原來(lái)的start_urls這句代碼注釋掉,加入redis_key = '自定義key值',一般以爬蟲名:urls命名
測(cè)試部署是否成功
直接運(yùn)行我們的項(xiàng)目,
打開(kāi)redis客戶端在redis添加key為yunqi:start_urls的列表,值為地址
添加成功后,程序直接跑了起來(lái)
查看數(shù)據(jù)是否插入
分布式用到的代碼應(yīng)該是同一套代碼
1） 先把項(xiàng)目配置為分布式
2） 把項(xiàng)目拷貝到多臺(tái)服務(wù)器中
3） 把所有爬蟲項(xiàng)目都跑起來(lái)
4） 在主redis-cli中l(wèi)push你的網(wǎng)址即可
5） 效果：所有爬蟲都開(kāi)始運(yùn)行，并且數(shù)據(jù)還都不一樣
到此這篇關(guān)于Scrapy基于scrapy_redis實(shí)現(xiàn)分布式爬蟲部署的示例的文章就介紹到這了,更多相關(guān)Scrapy redis分布式爬蟲 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Flask和Django框架中自定義模型類的表名、父類相關(guān)問(wèn)題分析
這篇文章主要介紹了Flask和Django框架中自定義模型類的表名、父類相關(guān)問(wèn)題,結(jié)合實(shí)例形式對(duì)比分析了Flask框架與Django框架表名定義方式的不同之處,并簡(jiǎn)單描述了框架的父類繼承問(wèn)題,需要的朋友可以參考下2018-07-07
python中使用正則表達(dá)式的后向搜索肯定模式(推薦)
這篇文章主要介紹了python里使用正則表達(dá)式的后向搜索肯定模式,本文通過(guò)代碼介紹的非常詳細(xì)，包括語(yǔ)法介紹，非常不錯(cuò)，具有參考借鑒價(jià)值，需要的朋友可以參考下2017-11-11
Python基礎(chǔ)之操作MySQL數(shù)據(jù)庫(kù)
這篇文章主要介紹了Python基礎(chǔ)之操作MySQL數(shù)據(jù)庫(kù),文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python基礎(chǔ)的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-05-05
在本篇文章里小編給大家整理的是一篇關(guān)于Django視圖類型的總結(jié)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-02-02
python環(huán)境搭建和pycharm的安裝配置及漢化詳細(xì)教程（零基礎(chǔ)小白版）
這篇文章主要介紹了python環(huán)境搭建和pycharm的安裝配置及漢化（零基礎(chǔ)小白版）,需要的朋友可以參考下2020-08-08
Python中執(zhí)行MySQL結(jié)果限制和分頁(yè)查詢示例詳解
這篇文章主要為大家介紹了Python中執(zhí)行MySQL結(jié)果限制和分頁(yè)查詢示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-11-11
python實(shí)現(xiàn)合并多個(gè)list及合并多個(gè)django QuerySet的方法示例
這篇文章主要介紹了python實(shí)現(xiàn)合并多個(gè)list及合并多個(gè)django QuerySet的方法,結(jié)合實(shí)例形式分析了Python使用chain合并多個(gè)list以及合并Django中多個(gè)QuerySet的相關(guān)操作技巧,需要的朋友可以參考下2019-06-06
Python?裝飾器常用的創(chuàng)建方式及源碼示例解析
裝飾器(decorator)是一種高級(jí)Python語(yǔ)法，可以對(duì)一個(gè)函數(shù)、方法或者類進(jìn)行加工，這篇文章主要介紹了Python?裝飾器常用的創(chuàng)建方式及解析,需要的朋友可以參考下2022-04-04
Python讀取Windows和Linux的CPU、GPU、硬盤等部件溫度的讀取方法
本文詳細(xì)介紹了如何使用Python在Windows和Linux系統(tǒng)上通過(guò)OpenHardwareMonitor和psutil庫(kù)讀取CPU、GPU等部件的溫度,包括Windows下的兩種方法以及Linux下的簡(jiǎn)單實(shí)現(xiàn),感興趣的小伙伴跟著小編一起來(lái)看看吧2025-02-02
樹的重建是一種從給定的遍歷序列中恢復(fù)原樹結(jié)構(gòu)的算法,本文就來(lái)介紹一下Python樹的重建實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11