最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python?apscheduler?cron定時任務(wù)觸發(fā)接口自動化巡檢過程

 更新時間:2023年03月14日 14:18:55   作者:不能知道我是誰  
這篇文章主要介紹了python?apscheduler?cron定時任務(wù)觸發(fā)接口自動化巡檢過程,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教

python cron定時任務(wù)觸發(fā)接口自動化巡檢

定時任務(wù)觸發(fā)方式有幾種類型,日常的工作中,研發(fā)同學(xué)運用比較多的就是cron方式

查了一下APScheduler框架內(nèi)支持多種定時任務(wù)方式

首先先安裝apscheduler模塊

$ pip install apscheduler

代碼如下:(在方法內(nèi)注釋了各種時間參數(shù)的定義與范圍)

from apscheduler.schedulers.blocking import BlockingScheduler


class Timing:
? ? def __init__(self, start_date, end_date, hour=None):
? ? ? ? self.start_date = start_date
? ? ? ? self.end_date = end_date
? ? ? ? self.hour = hour

? ? def cron(self, job, *value_list):
? ? ? ? """cron格式 在特定時間周期性地觸發(fā)"""
? ? ? ? # year (int 或 str) – 年,4位數(shù)字
? ? ? ? # month (int 或 str) – 月 (范圍1-12)
? ? ? ? # day (int 或 str) – 日 (范圍1-31)
? ? ? ? # week (int 或 str) – 周 (范圍1-53)
? ? ? ? # day_of_week (int 或 str) – 周內(nèi)第幾天或者星期幾 (范圍0-6 或者 mon,tue,wed,thu,fri,sat,sun)
? ? ? ? # hour (int 或 str) – 時 (范圍0-23)
? ? ? ? # minute (int 或 str) – 分 (范圍0-59)
? ? ? ? # second (int 或 str) – 秒 (范圍0-59)
? ? ? ? # start_date (datetime 或 str) – 最早開始日期(包含)
? ? ? ? # end_date (datetime 或 str) – 分 最晚結(jié)束時間(包含)
? ? ? ? # timezone (datetime.tzinfo 或str) – 指定時區(qū)
? ? ? ? scheduler = BlockingScheduler()
? ? ? ? scheduler.add_job(job, 'cron', start_date=self.start_date, end_date=self.end_date, hour=self.hour,
? ? ? ? ? ? ? ? ? ? ? ? ? args=[*value_list])
? ? ? ? scheduler.start()

? ? def interval(self, job, *value_list):
? ? ? ? """interval格式 周期觸發(fā)任務(wù)"""
? ? ? ? # weeks (int) - 間隔幾周
? ? ? ? # days (int) ?- 間隔幾天
? ? ? ? # hours (int) - 間隔幾小時
? ? ? ? # minutes (int) - 間隔幾分鐘
? ? ? ? # seconds (int) - 間隔多少秒
? ? ? ? # start_date (datetime 或 str) - 開始日期
? ? ? ? # end_date (datetime 或 str) - 結(jié)束日期
? ? ? ? # timezone (datetime.tzinfo 或str) - 時區(qū)
? ? ? ? scheduler = BlockingScheduler()
? ? ? ? # 在 2019-08-29 22:15:00至2019-08-29 22:17:00期間,每隔1分30秒 運行一次 job 方法
? ? ? ? scheduler.add_job(job, 'interval', minutes=1, seconds=30, start_date=self.start_date,
? ? ? ? ? ? ? ? ? ? ? ? ? end_date=self.end_date, args=[*value_list])
? ? ? ? scheduler.start()

? ? @staticmethod
? ? def date(job, *value_list):
? ? ? ? """date格式 特定時間點觸發(fā)"""
? ? ? ? # run_date (datetime 或 str) - 作業(yè)的運行日期或時間
? ? ? ? # timezone (datetime.tzinfo 或 str) ?- 指定時區(qū)
? ? ? ? scheduler = BlockingScheduler()
? ? ? ? # 在 2019-8-30 01:00:01 運行一次 job 方法
? ? ? ? scheduler.add_job(job, 'date', run_date='2019-8-30 01:00:00', args=[*value_list])
? ? ? ? scheduler.start()

封裝的方法不是很通用,后面會優(yōu)化一下代碼,但最起碼現(xiàn)在是能用的,哈哈哈哈哈哈

思考了一下思路,巡檢觸發(fā)任務(wù),然后觸發(fā)釘釘,所以定時任務(wù)應(yīng)該是在最上層

之前分享的釘釘封裝的代碼內(nèi)底部繼續(xù)完善一下

if __name__ == '__main__':
? ? file_list = ["test_shiyan.py", "MeetSpringFestival.py"]
? ? # run_py(file_list)
? ? case_list = ["test_case_01", "test_case_02"]
? ? # run_case(test_sample, case_list)
? ? dingDing_list = [2, case_list, test_sample]
? ? # run_dingDing(*dingDing_list)
? ? Timing('2022-02-15 00:00:00', '2022-02-16 00:00:00', '0-23').cron(run_dingDing, *dingDing_list)

把run_dingDing()的函數(shù)我們放在已經(jīng)封裝好的Timing().cron(run_dingDing,*dingDing_list)內(nèi),那么run_dingDing()內(nèi)的參數(shù)我們通過元組的方式傳入

就是我們上面寫的這里能看到

def cron(self, job, *value_list):
? ? ? ? """cron格式 在特定時間周期性地觸發(fā)"""
?? ??? ?scheduler.add_job(job, 'cron', start_date=self.start_date, end_date=self.end_date, hour=self.hour,
?? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ?args=[*value_list])

時間范圍的填寫我放在了Timing()初始化內(nèi),看著舒服一點

在運行Timing().cron()后就可以觸發(fā)定時了,但是必須要開著電腦才可以,等后面開始研究平臺,存儲在服務(wù)器內(nèi)就美吱吱了~

apscheduler報錯:Run time of job …… next run at: ……)” was missed by

apscheduler 運行過程中出現(xiàn)類似如下報錯:

 Run time of job "9668_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.387821Run time of job "9668_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)" was missed by 0:01:47.392574Run time of job "9669_deep (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.397622Run time of job "9669_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.402938Run time of job "9669_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)" was missed by 0:01:47.407996 

針對該問題百度是基本上指不上了,google到了關(guān)鍵配置,但仍然出現(xiàn)該報錯,于是繼續(xù)找資料,刨根問底這到是什么鬼問題導(dǎo)致的。

misfire_grace_time參數(shù)

google 到的是github上的一個issue:https://github.com/agronholm/apscheduler/issues/146

里面說到了一個參數(shù):misfire_grace_time,但是這個參數(shù)到底是干嘛用的,在其他地方找到了解釋,其中涉及到幾個其他參數(shù),但是結(jié)合自己的理解綜合總結(jié)一下

  • coalesce:當(dāng)由于某種原因?qū)е履硞€job積攢了好幾次沒有實際運行(比如說系統(tǒng)掛了5分鐘后恢復(fù),有一個任務(wù)是每分鐘跑一次的,按道理說這5分鐘內(nèi)本來是“計劃”運行5次的,但實際沒有執(zhí)行),如果coalesce為True,下次這個job被submit給executor時,只會執(zhí)行1次,也就是最后這次,如果為False,那么會執(zhí)行5次(不一定,因為還有其他條件,看后面misfire_grace_time的解釋)
  • max_instance:就是說同一個job同一時間最多有幾個實例再跑,比如一個耗時10分鐘的job,被指定每分鐘運行1次,如果我們max_instance值為5,那么在第6~10分鐘上,新的運行實例不會被執(zhí)行,因為已經(jīng)有5個實例在跑了
  • misfire_grace_time:設(shè)想和上述coalesce類似的場景,如果一個job本來14:00有一次執(zhí)行,但是由于某種原因沒有被調(diào)度上,現(xiàn)在14:01了,這個14:00的運行實例被提交時,會檢查它預(yù)訂運行的時間和當(dāng)下時間的差值(這里是1分鐘),大于我們設(shè)置的30秒限制,那么這個運行實例不會被執(zhí)行。

示例:

15分鐘一次的的任務(wù),misfire_grace_time 設(shè)置100秒,在0:06分的時候提示:

Run time of job "9392_index (trigger: interval[0:15:00], next run at: 2018-10-27 00:15:00 CST)" was missed by 0:06:03.931026  

解釋:

  • 本來應(yīng)該在0:00執(zhí)行的任務(wù),某種原因沒有被調(diào)度,提示下次運行(0:15)與當(dāng)前差了6分鐘(閾值100秒),所以0:15的時候?qū)⒉粫\行
  • 所以這個參數(shù)可以通俗的理解為任務(wù)的超時容錯配置,給executor 一個超時時間,這個時間范圍內(nèi)要是該跑的還沒跑完,你TND的就別再跑了。

于是我修改了配置如下:

 class Config(object):
 
    SCHEDULER_JOBSTORES = {
        'default': RedisJobStore(db=3,host='0.0.0.0', port=6378,password='******'),
    }
 
    SCHEDULER_EXECUTORS = {
        'default': {'type': 'processpool', 'max_workers': 50}  #用進(jìn)程池提升任務(wù)處理效率
    }
 
    SCHEDULER_JOB_DEFAULTS = {
        'coalesce': True,   #積攢的任務(wù)只跑一次
        'max_instances': 1000, #支持1000個實例并發(fā)
       'misfire_grace_time':600 #600秒的任務(wù)超時容錯
    }
 
    SCHEDULER_API_ENABLED = True 

我本以為這樣應(yīng)該就沒什么問題了,配置看似完美,但是現(xiàn)實是殘忍的,盯著apscheduler日志看了一會,熟悉的“was missed by”又出現(xiàn)了,這時候就需要懷疑這個配置到底有沒有生效了,然后發(fā)現(xiàn)果然沒有生效,從/scheduler/jobs中可以看到任務(wù):

 
{
"id": "9586_site_status",
"name": "9586_site_status",
"func": "monitor_scheduler:monitor_site_status",
"args": [
9586,
"http://sl.jxcn.cn/",
1000,
100,
200,
"",
0,
2
],
"kwargs": {},
"trigger": "interval",
"start_date": "2018-09-14T00:00:00+08:00",
"end_date": "2018-12-31T00:00:00+08:00",
"minutes": 15,
"misfire_grace_time": 10,
"max_instances": 3000,
"next_run_time": "2018-10-24T18:00:00+08:00"
} 

可以看到任務(wù)中默認(rèn)就有misfire_grace_time配置,沒有改為600,折騰一會發(fā)現(xiàn)修改配置,重啟與修改任務(wù)都不會生效,只能修改配置后刪除任務(wù)重新添加(才能把這個默認(rèn)配置用上),或者修改任務(wù)的時候把這個值改掉

 scheduler.modify_job(func=func, id=id, args=args, trigger=trigger, minutes=minutes,start_date=start_date,end_date=end_date,misfire_grace_time=600) 

然后就可以了?圖樣圖森破,missed 依然存在。

其實從后來的報錯可以發(fā)現(xiàn)這個容錯時間是用上的,因為從執(zhí)行時間加上600秒后才出現(xiàn)的報錯。

找到任務(wù)超時的根本原因

那么還是回到這個超時根本問題上,即使容錯時間足夠長,沒有這個報錯了,但是一個任務(wù)執(zhí)行時間過長仍然是個根本問題,所以終極思路還在于如何優(yōu)化executor的執(zhí)行時間上。

當(dāng)然這里根據(jù)不同的任務(wù)處理方式是不一樣的,在于各自的代碼了,比如更改鏈接方式、代碼是否有冗余請求,是否可以改為異步執(zhí)行,等等。

而我自己的任務(wù)解決方式為:由接口請求改為python模塊直接傳參,redis鏈接改為內(nèi)網(wǎng),極大提升執(zhí)行效率,所以也就控制了執(zhí)行超時問題。

總結(jié)

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • 如何使用python的plot繪制loss、acc曲線并存儲成圖片

    如何使用python的plot繪制loss、acc曲線并存儲成圖片

    在數(shù)據(jù)可視化中曲線圖是一種常見的展示數(shù)據(jù)趨勢的方式,Python作為一種強大的編程語言,提供了豐富的數(shù)據(jù)處理和可視化庫,使得繪制曲線圖變得非常簡單,下面這篇文章主要給大家介紹了關(guān)于如何使用python的plot繪制loss、acc曲線并存儲成圖片的相關(guān)資料,需要的朋友可以參考下
    2024-03-03
  • Python 如何引入同級包和模塊

    Python 如何引入同級包和模塊

    這篇文章主要介紹了Python 如何引入同級包和模塊,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-02-02
  • PyHacker編寫指南引用Nmap模塊實現(xiàn)端口掃描器

    PyHacker編寫指南引用Nmap模塊實現(xiàn)端口掃描器

    這篇文章主要為大家介紹了PyHacker編寫指南Nmap模塊實現(xiàn)端口掃描,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05
  • 聊聊pytorch測試的時候為何要加上model.eval()

    聊聊pytorch測試的時候為何要加上model.eval()

    這篇文章主要介紹了聊聊pytorch測試的時候為何要加上model.eval()的操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • python簡單線程和協(xié)程學(xué)習(xí)心得(分享)

    python簡單線程和協(xié)程學(xué)習(xí)心得(分享)

    下面小編就為大家?guī)硪黄猵ython簡單線程和協(xié)程學(xué)習(xí)心得(分享)。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-06-06
  • Python日志模塊logging的使用方法總結(jié)

    Python日志模塊logging的使用方法總結(jié)

    這篇文章主要分享的是Python日志模塊logging的使用方法總結(jié),ogging模塊默認(rèn)級別是WARNING,意味著只會追蹤該級別以上的事件,除非更改日志配置,想了解更多相關(guān)資料的小伙伴可以參考下面文章內(nèi)容
    2022-05-05
  • 總結(jié)Python函數(shù)參數(shù)的六種類型

    總結(jié)Python函數(shù)參數(shù)的六種類型

    這篇文章主要總結(jié)了Python函數(shù)參數(shù)的六種類型,傳遞參數(shù)實現(xiàn)不同場景的靈活使用,下面總結(jié)的六種函數(shù)參數(shù)類型,需要的小伙伴可以參考一下
    2022-03-03
  • Python利用smtplib實現(xiàn)郵件發(fā)送

    Python利用smtplib實現(xiàn)郵件發(fā)送

    在當(dāng)今數(shù)字時代,電子郵件已成為我們生活和工作中不可或缺的一部分,本篇文章將為你講解如何在Python發(fā)送郵件,并為你提供實現(xiàn)的多種方式,希望對大家有所幫助
    2023-06-06
  • numpy中的ndarray方法和屬性詳解

    numpy中的ndarray方法和屬性詳解

    這篇文章主要介紹了numpy中的ndarray方法和屬性詳解,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-05-05
  • python生成以及打開json、csv和txt文件的實例

    python生成以及打開json、csv和txt文件的實例

    今天小編就為大家分享一篇python生成以及打開json、csv和txt文件的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-11-11

最新評論

石河子市| 昌宁县| 岳阳市| 仪陇县| 平乐县| 陵川县| 夏河县| 林芝县| 四会市| 奉节县| 会昌县| 衡水市| 琼结县| 南阳市| 涿鹿县| 德格县| 友谊县| 句容市| 应城市| 青神县| 汾阳市| 富顺县| 锡林浩特市| 龙川县| 抚远县| 肃北| 万载县| 林口县| 东丽区| 石嘴山市| 新密市| 原阳县| 宜兰市| 塔河县| 遂川县| 阳江市| 修文县| 辽宁省| 微山县| 台湾省| 宁蒗|