python scrapy重復(fù)執(zhí)行實現(xiàn)代碼詳解

更新時間：2019年12月28日 11:48:32 作者：winstonsias

這篇文章主要介紹了python scrapy重復(fù)執(zhí)行實現(xiàn)代碼詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，我們只需要實現(xiàn)少量的代碼，就能夠快速的抓取

Scrapy模塊：

1、scheduler:用來存放url隊列

2、downloader：發(fā)送請求

3、spiders:提取數(shù)據(jù)和url

4、itemPipeline：數(shù)據(jù)保存

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
import time
import logging
from scrapy.utils.project import get_project_settings
 
 
#在控制臺打印日志
configure_logging()
#CrawlerRunner獲取settings.py里的設(shè)置信息
runner = CrawlerRunner(get_project_settings())
 
@defer.inlineCallbacks
def crawl():
  while True:
    logging.info("new cycle starting")
    yield runner.crawl("xxxxx")
    #1s跑一次
    time.sleep(1)
  reactor.stop()
 
crawl()
reactor.run()

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

利用matplotlib實現(xiàn)根據(jù)實時數(shù)據(jù)動態(tài)更新圖形
今天小編就為大家分享一篇利用matplotlib實現(xiàn)根據(jù)實時數(shù)據(jù)動態(tài)更新圖形，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-12-12
Python使用Opencv實現(xiàn)邊緣檢測以及輪廓檢測的實現(xiàn)
這篇文章主要介紹了Python使用Opencv實現(xiàn)邊緣檢測以及輪廓檢測的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-12-12
django haystack實現(xiàn)全文檢索的示例代碼
這篇文章主要介紹了django haystack實現(xiàn)全文檢索的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-06-06
Python爬取當(dāng)當(dāng)、京東、亞馬遜圖書信息代碼實例
這篇文章主要介紹了Python爬取當(dāng)當(dāng)、京東、亞馬遜圖書信息代碼實例，具有一定借鑒價值，需要的朋友可以參考下。
2017-12-12
用pandas中的DataFrame時選取行或列的方法
今天小編就為大家分享一篇用pandas中的DataFrame時選取行或列的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-07-07
Python實現(xiàn)遍歷目錄的兩張方法總結(jié)
我們有時想直接查看文件夾里的所有文件,但使用正常的方法太麻煩了,于是本文開發(fā)出了兩個python程序,可以遍歷目錄,有需要的小伙伴可以參考下
2024-02-02
幾個關(guān)于python Pdf 技巧的分享
這篇文章主要介紹了python使用技巧Pdf的詳細(xì)內(nèi)容，PyPDF2是一個純Python的開源庫，能夠分割或合并PDF文件，也可以裁剪或轉(zhuǎn)換PDF文件中的頁面，下面關(guān)于文章主題內(nèi)容將詳細(xì)介紹，需要的小伙伴可以參考一下
2022-02-02
python之excel文件(.xls文件)處理方式
這篇文章主要介紹了python之excel文件(.xls文件)處理方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-05-05
解決python報錯:AttributeError:?'ImageDraw'?object?h
這篇文章主要給大家介紹了關(guān)于解決python報錯:AttributeError:?'ImageDraw'?object?has?no?attribute?'textbbox'的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下
2024-01-01
python讀取大型csv文件的操作方法(降低內(nèi)存占用)
遇到大型的csv文件時,pandas會把該文件全部加載進內(nèi)存,從而導(dǎo)致程序運行速度變慢,本文提供了批量讀取csv文件、讀取屬性列的方法,減輕內(nèi)存占用情況,文中有詳細(xì)的代碼示例,需要的朋友可以參考下
2024-03-03