scrapy-redis的安裝部署步驟講解
更新時間：2019年02月27日 11:29:25 作者：世紀殤
今天小編就為大家分享一篇關于scrapy-redis的安裝部署步驟講解，小編覺得內容挺不錯的，現在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
先說下自己的環(huán)境，redis是部署在centos上的，爬蟲運行在windows上，
1. 安裝redis
yum install -y redis
2. 修改配置文件
vi /etc/redis.conf
將 protected-mode no解注釋，否則的話，在不設置密碼情況下遠程無法連接redis
3. 重啟redis
systemctl restart redis
4. 關閉防火墻
systemctl stop firewalld.service
5. 開始創(chuàng)建scrapy-redis的相關，和普通的scrapy一樣的創(chuàng)建，只不過修改setting.py文件，添加一行
REDIS_URL = 'redis://192.168.61.130:6379'
6. 修改spiders.py文件
# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
name = 'myspider'
redis_key = 'test_key'
allowed_domains = ['www.example.com']
def parse(self, response):
print(1111)
pass
7. 可以執(zhí)行這個爬蟲了
scrapy runspider example.py
8. 進入redis
redis-cli -h 127.0.0.1 -p rpush test_key http://test.com
即可看到爬蟲開始運行了
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接
相關文章
在本篇文章里小編給大家分享的是一篇關于python解包知識點總結，對此有興趣的朋友們可以學習參考下。2021-02-02
這篇文章主要介紹了python3序列化與反序列化用法,實例分析了Python3使用pickle模塊針對字符串進行序列化操作的相關技巧,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了python BeautifulSoup設置頁頁編碼的方法,本文直接給出代碼救命,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了PyQt5 QDockWidget控件應用詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-08-08
這篇文章主要為大家介紹了代碼解析python標準庫logging模塊，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
Python+Selenium+Pytesseract實現圖片驗證碼識別
這篇文章主要介紹了利用Python+Selenium+Pytesseract實現圖片驗證碼識別，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起學習一下2022-01-01
python Hypothesis生成和執(zhí)行大量的測試用例
Hypothesis是一個基于屬性的測試（property-based testing）庫,它能夠幫助我們生成和執(zhí)行大量的測試用例,與傳統(tǒng)的單元測試相比,屬性測試更加靈活和全面,能夠發(fā)現更多的邊界情況和潛在的錯誤2024-01-01
今天小編就為大家分享一篇PyCharm設置每行最大長度限制的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
這篇文章主要介紹了python中文編碼問題,是Python程序設計中比較常見的一類問題,本文以實例形式對此進行了較為詳細的總結,需要的朋友可以參考下2014-09-09
sys模塊是最常用的和python解釋器交互的模塊,sys模塊可供訪問由解釋器(interpreter)使用或維護的變量和與解釋器進行交互的函數,下面這篇文章主要給大家介紹了關于python標準庫學習之sys模塊的相關資料,需要的朋友可以參考下2022-08-08