快捷導(dǎo)航

淺析python實現(xiàn)scrapy定時執(zhí)行爬蟲

更新時間：2018年03月04日 11:03:39 投稿：mrr

這篇文章主要介紹了淺析python實現(xiàn)scrapy定時執(zhí)行爬蟲的相關(guān)資料,需要的朋友可以參考下

項目需要程序能夠放在超算中心定時運行，于是針對scrapy寫了一個定時爬蟲的程序main.py ，直接放在scrapy的存儲代碼的目錄中就能設(shè)定時間定時多次執(zhí)行。

最簡單的方法：直接使用Timer類

import time
import os
while True:
  os.system("scrapy crawl News")
  time.sleep(86400) #每隔一天運行一次 24*60*60=86400s或者，使用標(biāo)準(zhǔn)庫的sched模塊
import sched
#初始化sched模塊的scheduler類
#第一個參數(shù)是一個可以返回時間戳的函數(shù)，第二個參數(shù)可以在定時未到達(dá)之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )
#被周期性調(diào)度觸發(fā)的函數(shù)
def func():
  os.system("scrapy crawl News")
def perform1(inc):
  schedule.enter(inc,0,perform1,(inc,))
  func()  # 需要周期執(zhí)行的函數(shù)
def mymain():
  schedule.enter(0,0,perform1,(86400,))
if __name__=="__main__":
  mymain()
  schedule.run() # 開始運行，直到計劃時間隊列變成空為止關(guān)于cmd的實現(xiàn)方法，本人在單次執(zhí)行爬蟲程序時使用的是 
cmdline.execute("scrapy crawl News".split())但可能因為cmdline是scrapy模塊中自帶的，所以定時執(zhí)行時只能執(zhí)行一次就退出了。

小伙伴有種方法是使用

import subprocess
subprocess.Popen("scrapy crawl News")

她的程序運行正?？梢远〞r多次執(zhí)行，而我的卻直接退出了，改為

from subprocess import Popen
subprocess.Popen("scrapy crawl News")

才正常，不知道為什么會這樣，如果有大神可以解釋原因還請指點。

反正

os.system、subprocess.Popen

都是pythoncmd的實現(xiàn)方法，可以根據(jù)需要選擇使用。

總結(jié)

以上所述是小編給大家介紹的python實現(xiàn)scrapy定時執(zhí)行爬蟲，希望對大家有所幫助，如果大家有任何疑問歡迎給我留言，小編會及時回復(fù)大家的！

您可能感興趣的文章:

相關(guān)文章

python人工智能遺傳算法示例解析
這篇文章主要為大家介紹了python人工智能遺傳算法示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-05-05
Python使用Matplotlib繪制三維散點圖詳解流程
matplotlib是基建立在python之上，適用于創(chuàng)建靜態(tài)，動畫和交互式可視化，通常與數(shù)據(jù)分析模塊pandas搭配使用，用于數(shù)據(jù)的分析和展示，適用于主流的操作系統(tǒng)，如Linux、Win、Mac
2022-11-11
python cx_Oracle模塊的安裝和使用詳細(xì)介紹
這篇文章主要介紹了python cx_Oracle模塊的安裝和使用詳細(xì)介紹的相關(guān)資料,需要的朋友可以參考下
2017-02-02
Python之list對應(yīng)元素求和的方法
今天小編就為大家分享一篇Python之list對應(yīng)元素求和的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
python flask自定義404錯誤頁面方式
這篇文章主要介紹了python flask自定義404錯誤頁面方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-12-12
Python管理Windows服務(wù)小腳本
這篇文章主要為大家詳細(xì)介紹了Python管理Windows服務(wù)的小腳本，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2018-03-03
tensorflow使用CNN分析mnist手寫體數(shù)字?jǐn)?shù)據(jù)集
這篇文章主要介紹了tensorflow使用CNN分析mnist手寫體數(shù)字?jǐn)?shù)據(jù)集，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2020-06-06
linux安裝Python3.4.2的操作方法
這篇文章主要介紹了linux安裝Python3.4.2的操作方法，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下
2018-09-09
教你如何使用Python selenium
今天教大家如何使用Python selenium,本文會以藝龍旅游網(wǎng)為對象,進(jìn)行selenium的學(xué)習(xí),目的：爬取藝龍網(wǎng)中南陽市唐河縣的酒店信息,包括：名字,電話,標(biāo)間價格,地址,介紹,圖片,需要的朋友可以參考下
2021-06-06
windows系統(tǒng)多個python中更改默認(rèn)python版本
這篇文章主要給大家介紹了關(guān)于windows系統(tǒng)多個python中更改默認(rèn)python版本的相關(guān)資料,在Python開發(fā)中,不同的項目往往需要使用不同的Python版本,需要的朋友可以參考下
2023-09-09