基于scrapy的redis安裝和配置方法
更新時間：2018年06月13日 09:52:52 作者：成吉思瀟
今天小編就為大家分享一篇基于scrapy的redis安裝和配置方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在定向爬蟲的制作過程中，使用分布式爬取技術(shù)可以顯著提高爬取效率。而 Redis 配合 Scrapy 是實現(xiàn)分布式爬取的基礎(chǔ)。
Redis 是一個高性能的 Key-Value 數(shù)據(jù)庫，它把數(shù)據(jù)保存在內(nèi)存里。因此可以有非?？斓臄?shù)據(jù)讀寫速度。
scrapy-redis 的安裝
pip install scrapy-redis easy_install scrapy-redis
下載
版本推薦
stable 3.0.2
運行redis
redis-server redis.conf
清空緩存
redis-cli flushdb
scrapy配置redis
settings.py配置redis
SCHEDULER = "scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST = True SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' REDIS_URL = None # 一般情況可以省去 REDIS_HOST = '127.0.0.1' # 也可以根據(jù)情況改成 localhost REDIS_PORT = 6379
在scrapy中使用scrapy-redis
spider 繼承RedisSpider
class tempSpider(RedisSpider) name = "temp" redis_key = ''temp:start_url"
以上這篇基于scrapy的redis安裝和配置方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
用 Python 定義 Schema 并生成 Parquet 文件詳情
本文將演示兩個例子，一個是沒有層級的兩個字段，另一個是含于嵌套級別的字段，將要使用到的 Python 模塊有 pandas 和 pyarrow，感興趣是我小伙伴請和小編一起學習下面文章內(nèi)容吧2021-09-09
這篇文章主要介紹了利用QT寫一個極簡單的圖形化Python鬧鐘程序,核心代碼只有25行,顯示屏幕提示而沒有鬧鈴聲音,需要的朋友可以參考下2015-04-04
本文主要講解了python中Template使用方法以及使用技巧，非常實用，有需要的朋友可以參考下2014-09-09
在大數(shù)據(jù)分析的領(lǐng)域中,Google BigQuery 是一個被廣泛使用的云端數(shù)據(jù)倉庫解決方案,它由 Google Cloud 提供,并且專為處理大規(guī)模數(shù)據(jù)集、進行快速的數(shù)據(jù)分析和復雜的查詢而設(shè)計,本文給大家講解了如何使用Python與BigQuery進行交互,需要的朋友可以參考下2025-04-04
Pandas_cum累積計算和rolling滾動計算的用法詳解
今天小編就為大家分享一篇Pandas_cum累積計算和rolling滾動計算的用法詳解，具有好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
這篇文章主要介紹了Python文字截圖識別OCR工具實例解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-03-03
在本篇文章里小編給各位分享了關(guān)于python怎么安裝scipy的具體方法和實例代碼，需要的朋友們學習下。2019-06-06
Python異步處理返回進度——使用Flask實現(xiàn)進度條
這篇文章主要介紹了Python異步處理返回進度——使用Flask實現(xiàn)進度條，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05
大家好，本篇文章主要講的是基于pygame實現(xiàn)貪吃蛇小游戲示例，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
這篇文章主要介紹了Python 定義只讀屬性的實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03